8f91438adb651fc19b94ddafaa33a9f15f85def1
[WebKit-https.git] / Tools / Scripts / old-run-webkit-tests
1 #!/usr/bin/perl
2
3 # Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010 Apple Inc. All rights reserved.
4 # Copyright (C) 2006 Alexey Proskuryakov (ap@nypop.com)
5 # Copyright (C) 2007 Matt Lilek (pewtermoose@gmail.com)
6 # Copyright (C) 2007 Eric Seidel <eric@webkit.org>
7 # Copyright (C) 2009 Google Inc. All rights reserved.
8 # Copyright (C) 2009 Andras Becsi (becsi.andras@stud.u-szeged.hu), University of Szeged
9 #
10 # Redistribution and use in source and binary forms, with or without
11 # modification, are permitted provided that the following conditions
12 # are met:
13 #
14 # 1.  Redistributions of source code must retain the above copyright
15 #     notice, this list of conditions and the following disclaimer. 
16 # 2.  Redistributions in binary form must reproduce the above copyright
17 #     notice, this list of conditions and the following disclaimer in the
18 #     documentation and/or other materials provided with the distribution. 
19 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
20 #     its contributors may be used to endorse or promote products derived
21 #     from this software without specific prior written permission. 
22 #
23 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
24 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
25 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
26 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
27 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
28 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
29 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
30 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
31 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
32 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
33
34 # Script to run the WebKit Open Source Project layout tests.
35
36 # Run all the tests passed in on the command line.
37 # If no tests are passed, find all the .html, .shtml, .xml, .xhtml, .xhtmlmp, .pl, .php (and svg) files in the test directory.
38
39 # Run each text.
40 # Compare against the existing file xxx-expected.txt.
41 # If there is a mismatch, generate xxx-actual.txt and xxx-diffs.txt.
42
43 # At the end, report:
44 #   the number of tests that got the expected results
45 #   the number of tests that ran, but did not get the expected results
46 #   the number of tests that failed to run
47 #   the number of tests that were run but had no expected results to compare against
48
49 use strict;
50 use warnings;
51
52 use CGI;
53 use Config;
54 use Cwd;
55 use Data::Dumper;
56 use Fcntl qw(F_GETFL F_SETFL O_NONBLOCK);
57 use File::Basename;
58 use File::Copy;
59 use File::Find;
60 use File::Path;
61 use File::Spec;
62 use File::Spec::Functions;
63 use File::Temp;
64 use FindBin;
65 use Getopt::Long;
66 use IPC::Open2;
67 use IPC::Open3;
68 use MIME::Base64;
69 use Time::HiRes qw(time usleep);
70
71 use List::Util 'shuffle';
72
73 use lib $FindBin::Bin;
74 use webkitperl::features;
75 use webkitperl::httpd;
76 use webkitdirs;
77 use VCSUtils;
78 use POSIX;
79
80 sub buildPlatformResultHierarchy();
81 sub buildPlatformTestHierarchy(@);
82 sub captureSavedCrashLog($$);
83 sub checkPythonVersion();
84 sub closeCygpaths();
85 sub closeDumpTool();
86 sub closeWebSocketServer();
87 sub configureAndOpenHTTPDIfNeeded();
88 sub countAndPrintLeaks($$$);
89 sub countFinishedTest($$$$);
90 sub deleteExpectedAndActualResults($);
91 sub dumpToolDidCrash();
92 sub epiloguesAndPrologues($$);
93 sub expectedDirectoryForTest($;$;$);
94 sub fileNameWithNumber($$);
95 sub findNewestFileMatchingGlob($);
96 sub htmlForResultsSection(\@$&);
97 sub isTextOnlyTest($);
98 sub launchWithEnv(\@\%);
99 sub resolveAndMakeTestResultsDirectory();
100 sub numericcmp($$);
101 sub openDiffTool();
102 sub buildDumpTool($);
103 sub openDumpTool();
104 sub parseLeaksandPrintUniqueLeaks();
105 sub openWebSocketServerIfNeeded();
106 sub pathcmp($$);
107 sub printFailureMessageForTest($$);
108 sub processIgnoreTests($$);
109 sub readChecksumFromPng($);
110 sub readFromDumpToolWithTimer(**);
111 sub readSkippedFiles($);
112 sub recordActualResultsAndDiff($$);
113 sub sampleDumpTool();
114 sub setFileHandleNonBlocking(*$);
115 sub setUpWindowsCrashLogSaving();
116 sub slowestcmp($$);
117 sub splitpath($);
118 sub stopRunningTestsEarlyIfNeeded();
119 sub stripExtension($);
120 sub stripMetrics($$);
121 sub testCrashedOrTimedOut($$$$$$);
122 sub toCygwinPath($);
123 sub toURL($);
124 sub toWindowsPath($);
125 sub validateSkippedArg($$;$);
126 sub writeToFile($$);
127
128 # Argument handling
129 my $addPlatformExceptions = 0;
130 my @additionalPlatformDirectories = ();
131 my $complexText = 0;
132 my $exitAfterNFailures = 0;
133 my $exitAfterNCrashesOrTimeouts = 0;
134 my $generateNewResults = isAppleMacWebKit() ? 1 : 0;
135 my $guardMalloc = '';
136 # FIXME: Dynamic HTTP-port configuration in this file is wrong.  The various
137 # apache config files in LayoutTests/http/config govern the port numbers.
138 # Dynamic configuration as-written will also cause random failures in
139 # an IPv6 environment.  See https://bugs.webkit.org/show_bug.cgi?id=37104.
140 my $httpdPort = 8000;
141 my $httpdSSLPort = 8443;
142 my $ignoreMetrics = 0;
143 my $webSocketPort = 8880;
144 # wss is disabled until all platforms support pyOpenSSL.
145 # my $webSocketSecurePort = 9323;
146 my @ignoreTests;
147 my $iterations = 1;
148 my $launchSafari = 1;
149 my $mergeDepth;
150 my $pixelTests = '';
151 my $platform;
152 my $quiet = '';
153 my $randomizeTests = 0;
154 my $repeatEach = 1;
155 my $report10Slowest = 0;
156 my $resetResults = 0;
157 my $reverseTests = 0;
158 my $root;
159 my $runSample = 1;
160 my $shouldCheckLeaks = 0;
161 my $showHelp = 0;
162 my $stripEditingCallbacks;
163 my $testHTTP = 1;
164 my $testWebSocket = 1;
165 my $testMedia = 1;
166 my $tmpDir = "/tmp";
167 my $testResultsDirectory = File::Spec->catdir($tmpDir, "layout-test-results");
168 my $testsPerDumpTool = 1000;
169 my $threaded = 0;
170 my $gcBetweenTests = 0;
171 # DumpRenderTree has an internal timeout of 30 seconds, so this must be > 30.
172 my $timeoutSeconds = 35;
173 my $tolerance = 0;
174 my $treatSkipped = "default";
175 my $useRemoteLinksToTests = 0;
176 my $useValgrind = 0;
177 my $verbose = 0;
178 my $shouldWaitForHTTPD = 0;
179 my $useWebKitTestRunner = 0;
180 my $noBuildDumpTool = 0;
181
182 # These arguments are ignored, but exist for compatibility with new-run-webkit-tests.
183 my $builderName = '';
184 my $buildNumber = '';
185 my $masterName = '';
186 my $testResultsServer = '';
187
188 my @leaksFilenames;
189
190 if (isWindows() || isMsys()) {
191     print "This script has to be run under Cygwin to function correctly.\n";
192     exit 1;
193 }
194
195 # Default to --no-http for wx for now.
196 $testHTTP = 0 if (isWx());
197
198 my $perlInterpreter = "perl";
199
200 my $expectedTag = "expected";
201 my $mismatchTag = "mismatch";
202 my $actualTag = "actual";
203 my $prettyDiffTag = "pretty-diff";
204 my $diffsTag = "diffs";
205 my $errorTag = "stderr";
206 my $crashLogTag = "crash-log";
207
208 my $windowsCrashLogFilePrefix = "CrashLog";
209
210 # These are defined here instead of closer to where they are used so that they
211 # will always be accessible from the END block that uses them, even if the user
212 # presses Ctrl-C before Perl has finished evaluating this whole file.
213 my $windowsPostMortemDebuggerKey = "/HKLM/SOFTWARE/Microsoft/Windows NT/CurrentVersion/AeDebug";
214 my %previousWindowsPostMortemDebuggerValues;
215
216 my $realPlatform;
217
218 my @macPlatforms = ("mac-leopard", "mac-snowleopard", "mac-lion", "mac");
219 my @winPlatforms = ("win-xp", "win-vista", "win-7sp0", "win");
220
221 if (isAppleMacWebKit()) {
222     if (isLeopard()) {
223         $platform = "mac-leopard";
224         $tolerance = 0.1;
225     } elsif (isSnowLeopard()) {
226         $platform = "mac-snowleopard";
227         $tolerance = 0.1;
228     } elsif (isLion()) {
229         $platform = "mac-lion";
230         $tolerance = 0.1;
231     } else {
232         $platform = "mac";
233     }
234 } elsif (isQt()) {
235     $platform = "qt";
236 } elsif (isGtk()) {
237     $platform = "gtk";
238 } elsif (isWx()) {
239     $platform = "wx";
240 } elsif (isWinCairo()) {
241     $platform = "wincairo";
242 } elsif (isCygwin() || isWindows()) {
243     if (isWindowsXP()) {
244         $platform = "win-xp";
245     } elsif (isWindowsVista()) {
246         $platform = "win-vista";
247     } elsif (isWindows7SP0()) {
248         $platform = "win-7sp0";
249     } else {
250         $platform = "win";
251     }
252 }
253
254 if (isQt() || isAppleWinWebKit()) {
255     my $testfontPath = $ENV{"WEBKIT_TESTFONTS"};
256     if (!$testfontPath || !-d "$testfontPath") {
257         print "The WEBKIT_TESTFONTS environment variable is not defined or not set properly\n";
258         print "You must set it before running the tests.\n";
259         print "Use git to grab the actual fonts from http://gitorious.org/qtwebkit/testfonts\n";
260         exit 1;
261     }
262 }
263
264 if (!defined($platform)) {
265     print "WARNING: Your platform is not recognized. Any platform-specific results will be generated in platform/undefined.\n";
266     $platform = "undefined";
267 }
268
269 if (!checkPythonVersion()) {
270     print "WARNING: Your platform does not have Python 2.5+, which is required to run websocket server, so disabling websocket/tests.\n";
271     $testWebSocket = 0;
272 }
273
274 my $programName = basename($0);
275 my $launchSafariDefault = $launchSafari ? "launch" : "do not launch";
276 my $httpDefault = $testHTTP ? "run" : "do not run";
277 my $sampleDefault = $runSample ? "run" : "do not run";
278
279 my $usage = <<EOF;
280 Usage: $programName [options] [testdir|testpath ...]
281   --add-platform-exceptions       Put new results for non-platform-specific failing tests into the platform-specific results directory
282   --additional-platform-directory path/to/directory
283                                   Look in the specified directory before looking in any of the default platform-specific directories
284   --complex-text                  Use the complex text code path for all text (Mac OS X and Windows only)
285   -c|--configuration config       Set DumpRenderTree build configuration
286   --gc-between-tests              Force garbage collection between each test
287   -g|--guard-malloc               Enable malloc guard
288   --exit-after-n-failures N       Exit after the first N failures (includes crashes) instead of running all tests
289   --exit-after-n-crashes-or-timeouts N
290                                   Exit after the first N crashes instead of running all tests
291   -h|--help                       Show this help message
292   --[no-]http                     Run (or do not run) http tests (default: $httpDefault)
293   --[no-]wait-for-httpd           Wait for httpd if some other test session is using it already (same as WEBKIT_WAIT_FOR_HTTPD=1). (default: $shouldWaitForHTTPD) 
294   -i|--ignore-tests               Comma-separated list of directories or tests to ignore
295   --iterations n                  Number of times to run the set of tests (e.g. ABCABCABC)
296   --[no-]launch-safari            Launch (or do not launch) Safari to display test results (default: $launchSafariDefault)
297   -l|--leaks                      Enable leaks checking
298   --[no-]new-test-results         Generate results for new tests
299   --nthly n                       Restart DumpRenderTree every n tests (default: $testsPerDumpTool)
300   -p|--pixel-tests                Enable pixel tests
301   --tolerance t                   Ignore image differences less than this percentage (default: $tolerance)
302   --platform                      Override the detected platform to use for tests and results (default: $platform)
303   --port                          Web server port to use with http tests
304   -q|--quiet                      Less verbose output
305   --reset-results                 Reset ALL results (including pixel tests if --pixel-tests is set)
306   -o|--results-directory          Output results directory (default: $testResultsDirectory)
307   --random                        Run the tests in a random order
308   --repeat-each n                 Number of times to run each test (e.g. AAABBBCCC)
309   --reverse                       Run the tests in reverse alphabetical order
310   --root                          Path to root tools build
311   --[no-]sample-on-timeout        Run sample on timeout (default: $sampleDefault) (Mac OS X only)
312   -1|--singly                     Isolate each test case run (implies --nthly 1 --verbose)
313   --skipped=[default|ignore|only] Specifies how to treat the Skipped file
314                                      default: Tests/directories listed in the Skipped file are not tested
315                                      ignore:  The Skipped file is ignored
316                                      only:    Only those tests/directories listed in the Skipped file will be run
317   --slowest                       Report the 10 slowest tests
318   --ignore-metrics                Ignore metrics in tests
319   --[no-]strip-editing-callbacks  Remove editing callbacks from expected results
320   -t|--threaded                   Run a concurrent JavaScript thead with each test
321   --timeout t                     Sets the number of seconds before a test times out (default: $timeoutSeconds)
322   --valgrind                      Run DumpRenderTree inside valgrind (Qt/Linux only)
323   -v|--verbose                    More verbose output (overrides --quiet)
324   -m|--merge-leak-depth arg       Merges leak callStacks and prints the number of unique leaks beneath a callstack depth of arg.  Defaults to 5.
325   --use-remote-links-to-tests     Link to test files within the SVN repository in the results.
326   -2|--webkit-test-runner         Use WebKitTestRunner rather than DumpRenderTree.
327 EOF
328
329 setConfiguration();
330
331 my $getOptionsResult = GetOptions(
332     'add-platform-exceptions' => \$addPlatformExceptions,
333     'additional-platform-directory=s' => \@additionalPlatformDirectories,
334     'complex-text' => \$complexText,
335     'exit-after-n-failures=i' => \$exitAfterNFailures,
336     'exit-after-n-crashes-or-timeouts=i' => \$exitAfterNCrashesOrTimeouts,
337     'gc-between-tests' => \$gcBetweenTests,
338     'guard-malloc|g' => \$guardMalloc,
339     'help|h' => \$showHelp,
340     'http!' => \$testHTTP,
341     'wait-for-httpd!' => \$shouldWaitForHTTPD,
342     'ignore-metrics!' => \$ignoreMetrics,
343     'ignore-tests|i=s' => \@ignoreTests,
344     'iterations=i' => \$iterations,
345     'launch-safari!' => \$launchSafari,
346     'leaks|l' => \$shouldCheckLeaks,
347     'merge-leak-depth|m:5' => \$mergeDepth,
348     'new-test-results!' => \$generateNewResults,
349     'no-build' => \$noBuildDumpTool,
350     'nthly=i' => \$testsPerDumpTool,
351     'pixel-tests|p' => \$pixelTests,
352     'platform=s' => \$platform,
353     'port=i' => \$httpdPort,
354     'quiet|q' => \$quiet,
355     'random' => \$randomizeTests,
356     'repeat-each=i' => \$repeatEach,
357     'reset-results' => \$resetResults,
358     'results-directory|o=s' => \$testResultsDirectory,
359     'reverse' => \$reverseTests,
360     'root=s' => \$root,
361     'sample-on-timeout!' => \$runSample,
362     'singly|1' => sub { $testsPerDumpTool = 1; },
363     'skipped=s' => \&validateSkippedArg,
364     'slowest' => \$report10Slowest,
365     'strip-editing-callbacks!' => \$stripEditingCallbacks,
366     'threaded|t' => \$threaded,
367     'timeout=i' => \$timeoutSeconds,
368     'tolerance=f' => \$tolerance,
369     'use-remote-links-to-tests' => \$useRemoteLinksToTests,
370     'valgrind' => \$useValgrind,
371     'verbose|v' => \$verbose,
372     'webkit-test-runner|2' => \$useWebKitTestRunner,
373     # These arguments are ignored (but are used by new-run-webkit-tests).
374     'builder-name=s' => \$builderName,
375     'build-number=s' => \$buildNumber,
376     'master-name=s' => \$masterName,
377     'test-results-server=s' => \$testResultsServer,
378 );
379
380 if (!$getOptionsResult || $showHelp) {
381     print STDERR $usage;
382     exit 1;
383 }
384
385 if ($useWebKitTestRunner) {
386     if (isAppleMacWebKit()) {
387         $realPlatform = $platform;
388         $platform = "mac-wk2";
389     } elsif (isAppleWinWebKit()) {
390         $stripEditingCallbacks = 0 unless defined $stripEditingCallbacks;
391         $realPlatform = $platform;
392         $platform = "win-wk2";
393     } elsif (isQt()) {
394         $realPlatform = $platform;
395         $platform = "qt-wk2";
396     } elsif (isGtk()) {
397         $realPlatform = $platform;
398         $platform = "gtk-wk2";
399     }
400 }
401
402 $timeoutSeconds *= 10 if $guardMalloc;
403
404 $stripEditingCallbacks = isCygwin() unless defined $stripEditingCallbacks;
405
406 my $ignoreSkipped = $treatSkipped eq "ignore";
407 my $skippedOnly = $treatSkipped eq "only";
408
409 my $configuration = configuration();
410
411 # We need an environment variable to be able to enable the feature per-slave
412 $shouldWaitForHTTPD = $ENV{"WEBKIT_WAIT_FOR_HTTPD"} unless ($shouldWaitForHTTPD);
413 $verbose = 1 if $testsPerDumpTool == 1;
414
415 if ($shouldCheckLeaks && $testsPerDumpTool > 1000) {
416     print STDERR "\nWARNING: Running more than 1000 tests at a time with MallocStackLogging enabled may cause a crash.\n\n";
417 }
418
419 # Generating remote links causes a lot of unnecessary spew on GTK build bot
420 $useRemoteLinksToTests = 0 if isGtk();
421
422 setConfigurationProductDir(Cwd::abs_path($root)) if (defined($root));
423 my $productDir = productDir();
424 $productDir .= "/bin" if isQt();
425 $productDir .= "/Programs" if isGtk();
426
427 chdirWebKit();
428
429 if (!defined($root) && !$noBuildDumpTool) {
430     # FIXME: We build both DumpRenderTree and WebKitTestRunner for
431     # WebKitTestRunner runs because DumpRenderTree still includes
432     # the DumpRenderTreeSupport module and the TestNetscapePlugin.
433     # These two projects should be factored out into their own
434     # projects.
435     buildDumpTool("DumpRenderTree");
436     buildDumpTool("WebKitTestRunner") if $useWebKitTestRunner;
437 }
438
439 my $dumpToolName = $useWebKitTestRunner ? "WebKitTestRunner" : "DumpRenderTree";
440
441 if (isAppleWinWebKit()) {
442     $dumpToolName .= "_debug" if configurationForVisualStudio() eq "Debug_All";
443     $dumpToolName .= "_debug" if configurationForVisualStudio() eq "Debug_Cairo_CFLite";
444     $dumpToolName .= $Config{_exe};
445 }
446 my $dumpTool = File::Spec->catfile($productDir, $dumpToolName);
447 die "can't find executable $dumpToolName (looked in $productDir)\n" unless -x $dumpTool;
448
449 my $imageDiffTool = "$productDir/ImageDiff";
450 $imageDiffTool .= "_debug" if isCygwin() && configurationForVisualStudio() eq "Debug_All";
451 $imageDiffTool .= "_debug" if isCygwin() && configurationForVisualStudio() eq "Debug_Cairo_CFLite";
452 die "can't find executable $imageDiffTool (looked in $productDir)\n" if $pixelTests && !-x $imageDiffTool;
453
454 checkFrameworks() unless isCygwin();
455
456 if (isAppleMacWebKit()) {
457     push @INC, $productDir;
458     require DumpRenderTreeSupport;
459 }
460
461 my $layoutTestsName = "LayoutTests";
462 my $testDirectory = File::Spec->rel2abs($layoutTestsName);
463 my $expectedDirectory = $testDirectory;
464 my $platformBaseDirectory = catdir($testDirectory, "platform");
465 my $platformTestDirectory = catdir($platformBaseDirectory, $platform);
466 my @platformResultHierarchy = buildPlatformResultHierarchy();
467 my @platformTestHierarchy = buildPlatformTestHierarchy(@platformResultHierarchy);
468
469 $expectedDirectory = $ENV{"WebKitExpectedTestResultsDirectory"} if $ENV{"WebKitExpectedTestResultsDirectory"};
470
471 $testResultsDirectory = File::Spec->rel2abs($testResultsDirectory);
472 # $testResultsDirectory must be empty before testing.
473 rmtree $testResultsDirectory;
474 my $testResults = File::Spec->catfile($testResultsDirectory, "results.html");
475
476 if (isAppleMacWebKit()) {
477     print STDERR "Compiling Java tests\n";
478     my $javaTestsDirectory = catdir($testDirectory, "java");
479
480     if (system("/usr/bin/make", "-C", "$javaTestsDirectory")) {
481         exit 1;
482     }
483 } elsif (isCygwin()) {
484     setUpWindowsCrashLogSaving();
485 }
486
487 print "Running tests from $testDirectory\n";
488 if ($pixelTests) {
489     print "Enabling pixel tests with a tolerance of $tolerance%\n";
490     if (isDarwin()) {
491         if (!$useWebKitTestRunner) {
492             print "WARNING: Temporarily changing the main display color profile:\n";
493             print "\tThe colors on your screen will change for the duration of the testing.\n";
494             print "\tThis allows the pixel tests to have consistent color values across all machines.\n";
495         }
496
497         if (isPerianInstalled()) {
498             print "WARNING: Perian's QuickTime component is installed and this may affect pixel test results!\n";
499             print "\tYou should avoid generating new pixel results in this environment.\n";
500             print "\tSee https://bugs.webkit.org/show_bug.cgi?id=22615 for details.\n";
501         }
502     }
503 }
504
505 system "ln", "-s", $testDirectory, "/tmp/LayoutTests" unless -x "/tmp/LayoutTests";
506
507 my %ignoredFiles = ( "results.html" => 1 );
508 my %ignoredDirectories = map { $_ => 1 } qw(platform);
509 my %ignoredLocalDirectories = map { $_ => 1 } qw(.svn _svn resources script-tests);
510 my %supportedFileExtensions = map { $_ => 1 } qw(htm html shtml xml xhtml xhtmlmp pl php mht);
511
512 if (!checkWebCoreFeatureSupport("MathML", 0)) {
513     $ignoredDirectories{'mathml'} = 1;
514 }
515
516 if (!checkWebCoreFeatureSupport("MHTML", 0)) {
517     $ignoredDirectories{'mhtml'} = 1;
518 }
519
520 # FIXME: We should fix webkitperl/features.pm:hasFeature() to do the correct feature detection for Cygwin.
521 if (checkWebCoreFeatureSupport("SVG", 0)) {
522     $supportedFileExtensions{'svg'} = 1;
523 } elsif (isCygwin()) {
524     $supportedFileExtensions{'svg'} = 1;
525 } else {
526     $ignoredLocalDirectories{'svg'} = 1;
527 }
528
529 if (!$testHTTP) {
530     $ignoredDirectories{'http'} = 1;
531     $ignoredDirectories{'websocket'} = 1;
532 } elsif (!hasHTTPD()) {
533     print "\nNo httpd found. Cannot run http tests.\nPlease use --no-http if you do not want to run http tests.\n";
534     exit 1;
535 }
536
537 if (!$testWebSocket) {
538     $ignoredDirectories{'websocket'} = 1;
539 }
540
541 if (!$testMedia) {
542     $ignoredDirectories{'media'} = 1;
543     $ignoredDirectories{'http/tests/media'} = 1;
544 }
545
546 my $supportedFeaturesResult = "";
547
548 if (isCygwin()) {
549     # Collect supported features list
550     my $supportedFeaturesCommand = "\"$dumpTool\" --print-supported-features 2>&1";
551     $supportedFeaturesResult = `$supportedFeaturesCommand 2>&1`;
552 }
553
554 my $hasAcceleratedCompositing = 0;
555 my $has3DRendering = 0;
556
557 if (isCygwin()) {
558     $hasAcceleratedCompositing = $supportedFeaturesResult =~ /AcceleratedCompositing/;
559     $has3DRendering = $supportedFeaturesResult =~ /3DRendering/;
560 } else {
561     $hasAcceleratedCompositing = checkWebCoreFeatureSupport("Accelerated Compositing", 0);
562     $has3DRendering = checkWebCoreFeatureSupport("3D Rendering", 0);
563 }
564
565 if (!$hasAcceleratedCompositing) {
566     $ignoredDirectories{'compositing'} = 1;
567
568     # This test has slightly different floating-point rounding when accelerated
569     # compositing is enabled.
570     $ignoredFiles{'svg/custom/use-on-symbol-inside-pattern.svg'} = 1;
571
572     # This test has an iframe that is put in a layer only in compositing mode.
573     $ignoredFiles{'media/media-document-audio-repaint.html'} = 1;
574
575     if (isAppleWebKit()) {
576         # In Apple's ports, the default controls for <video> contain a "full
577         # screen" button only if accelerated compositing is enabled.
578         $ignoredFiles{'media/controls-after-reload.html'} = 1;
579         $ignoredFiles{'media/controls-drag-timebar.html'} = 1;
580         $ignoredFiles{'media/controls-strict.html'} = 1;
581         $ignoredFiles{'media/controls-styling.html'} = 1;
582         $ignoredFiles{'media/controls-without-preload.html'} = 1;
583         $ignoredFiles{'media/video-controls-rendering.html'} = 1;
584         $ignoredFiles{'media/video-display-toggle.html'} = 1;
585         $ignoredFiles{'media/video-no-audio.html'} = 1;
586     }
587
588     # Here we're using !$hasAcceleratedCompositing as a proxy for "is a headless XP machine" (like
589     # our test slaves). Headless XP machines can neither support accelerated compositing nor pass
590     # this test, so skipping the test here is expedient, if a little sloppy. See
591     # <http://webkit.org/b/48333>.
592     $ignoredFiles{'platform/win/plugins/npn-invalidate-rect-invalidates-window.html'} = 1 if isAppleWinWebKit();
593 }
594
595 if (!$has3DRendering) {
596     $ignoredDirectories{'animations/3d'} = 1;
597     $ignoredDirectories{'transforms/3d'} = 1;
598
599     # These tests use the -webkit-transform-3d media query.
600     $ignoredFiles{'fast/media/mq-transform-02.html'} = 1;
601     $ignoredFiles{'fast/media/mq-transform-03.html'} = 1;
602 }
603
604 if (!checkWebCoreFeatureSupport("3D Canvas", 0)) {
605     $ignoredDirectories{'fast/canvas/webgl'} = 1;
606     $ignoredDirectories{'compositing/webgl'} = 1;
607     $ignoredDirectories{'http/tests/canvas/webgl'} = 1;
608 }
609
610 if (isAppleMacWebKit() && $platform ne "mac-wk2" && osXVersion()->{minor} >= 6 && architecture() =~ /x86_64/) {
611     # This test relies on executing JavaScript during NPP_Destroy, which isn't supported with
612     # out-of-process plugins in WebKit1. See <http://webkit.org/b/58077>.
613     $ignoredFiles{'plugins/npp-set-window-called-during-destruction.html'} = 1;
614 }
615
616 processIgnoreTests(join(',', @ignoreTests), "ignore-tests") if @ignoreTests;
617 if (!$ignoreSkipped) {
618     if (!$skippedOnly || @ARGV == 0) {
619         readSkippedFiles("");
620     } else {
621         # Since readSkippedFiles() appends to @ARGV, we must use a foreach
622         # loop so that we only iterate over the original argument list.
623         foreach my $argnum (0 .. $#ARGV) {
624             readSkippedFiles(shift @ARGV);
625         }
626     }
627 }
628
629 my @tests = findTestsToRun();
630
631 die "no tests to run\n" if !@tests;
632
633 my %counts;
634 my %tests;
635 my %imagesPresent;
636 my %imageDifferences;
637 my %durations;
638 my $count = 0;
639 my $leaksOutputFileNumber = 1;
640 my $totalLeaks = 0;
641 my $stoppedRunningEarlyMessage;
642
643 my @toolArgs = ();
644 push @toolArgs, "--pixel-tests" if $pixelTests;
645 push @toolArgs, "--threaded" if $threaded;
646 push @toolArgs, "--complex-text" if $complexText;
647 push @toolArgs, "--gc-between-tests" if $gcBetweenTests;
648 push @toolArgs, "-";
649
650 my @diffToolArgs = ();
651 push @diffToolArgs, "--tolerance", $tolerance;
652
653 $| = 1;
654
655 my $dumpToolPID;
656 my $isDumpToolOpen = 0;
657 my $dumpToolCrashed = 0;
658 my $imageDiffToolPID;
659 my $isDiffToolOpen = 0;
660
661 my $atLineStart = 1;
662 my $lastDirectory = "";
663
664 my $isHttpdOpen = 0;
665 my $isWebSocketServerOpen = 0;
666 my $webSocketServerPidFile = 0;
667 my $failedToStartWebSocketServer = 0;
668 # wss is disabled until all platforms support pyOpenSSL.
669 # my $webSocketSecureServerPID = 0;
670
671 sub catch_pipe { $dumpToolCrashed = 1; }
672 $SIG{"PIPE"} = "catch_pipe";
673
674 print "Testing ", scalar @tests, " test cases";
675 print " $iterations times" if ($iterations > 1);
676 print ", repeating each test $repeatEach times" if ($repeatEach > 1);
677 print ".\n";
678
679 my $overallStartTime = time;
680
681 my %expectedResultPaths;
682
683 my @originalTests = @tests;
684 # Add individual test repetitions
685 if ($repeatEach > 1) {
686     @tests = ();
687     foreach my $test (@originalTests) {
688         for (my $i = 0; $i < $repeatEach; $i++) {
689             push(@tests, $test);
690         }
691     }
692 }
693 # Add test set repetitions
694 for (my $i = 1; $i < $iterations; $i++) {
695     push(@tests, @originalTests);
696 }
697
698 my $absTestResultsDirectory = resolveAndMakeTestResultsDirectory();
699 open my $tests_run_fh, '>', "$absTestResultsDirectory/tests_run.txt" or die $!;
700
701 for my $test (@tests) {
702     my $newDumpTool = not $isDumpToolOpen;
703     openDumpTool();
704
705     my $base = stripExtension($test);
706     my $expectedExtension = ".txt";
707     
708     my $dir = $base;
709     $dir =~ s|/[^/]+$||;
710
711     if ($newDumpTool || $dir ne $lastDirectory) {
712         foreach my $logue (epiloguesAndPrologues($newDumpTool ? "" : $lastDirectory, $dir)) {
713             if (isCygwin()) {
714                 $logue = toWindowsPath($logue);
715             } else {
716                 $logue = canonpath($logue);
717             }
718             if ($verbose) {
719                 print "running epilogue or prologue $logue\n";
720             }
721             print OUT "$logue\n";
722             # Throw away output from DumpRenderTree.
723             # Once for the test output and once for pixel results (empty)
724             while (<IN>) {
725                 last if /#EOF/;
726             }
727             while (<IN>) {
728                 last if /#EOF/;
729             }
730         }
731     }
732
733     if ($verbose) {
734         print "running $test -> ";
735         $atLineStart = 0;
736     } elsif (!$quiet) {
737         if ($dir ne $lastDirectory) {
738             print "\n" unless $atLineStart;
739             print "$dir ";
740         }
741         print ".";
742         $atLineStart = 0;
743     }
744
745     $lastDirectory = $dir;
746
747     my $result;
748
749     my $startTime = time if $report10Slowest;
750
751     print $tests_run_fh "$test\n";
752
753     # Try to read expected hash file for pixel tests
754     my $suffixExpectedHash = "";
755     if ($pixelTests && !$resetResults) {
756         my $expectedPixelDir = expectedDirectoryForTest($base, 0, "png");
757         if (my $expectedHash = readChecksumFromPng(File::Spec->catfile($expectedPixelDir, "$base-$expectedTag.png"))) {
758             # Format expected hash into a suffix string that is appended to the path / URL passed to DRT.
759             $suffixExpectedHash = "'$expectedHash";
760         }
761     }
762
763     if ($test =~ /^http\//) {
764         configureAndOpenHTTPDIfNeeded();
765         if ($test =~ /^http\/tests\/websocket\//) {
766             if ($test =~ /^websocket\/tests\/local\//) {
767                 my $testPath = "$testDirectory/$test";
768                 if (isCygwin()) {
769                     $testPath = toWindowsPath($testPath);
770                 } else {
771                     $testPath = canonpath($testPath);
772                 }
773                 print OUT "$testPath\n";
774             } else {
775                 if (openWebSocketServerIfNeeded()) {
776                     my $path = canonpath($test);
777                     if ($test =~ /^http\/tests\/websocket\/tests\/ssl\//) {
778                         # wss is disabled until all platforms support pyOpenSSL.
779                         print STDERR "Error: wss is disabled until all platforms support pyOpenSSL.";
780                     } else {
781                         $path =~ s/^http\/tests\///;
782                         print OUT "http://127.0.0.1:$httpdPort/$path\n";
783                     }
784                 } else {
785                     # We failed to launch the WebSocket server.  Display a useful error message rather than attempting
786                     # to run tests that expect the server to be available.
787                     my $errorMessagePath = "$testDirectory/http/tests/websocket/resources/server-failed-to-start.html";
788                     $errorMessagePath = isCygwin() ? toWindowsPath($errorMessagePath) : canonpath($errorMessagePath);
789                     print OUT "$errorMessagePath\n";
790                 }
791             }
792         } elsif ($test !~ /^http\/tests\/local\// && $test !~ /^http\/tests\/ssl\//) {
793             my $path = canonpath($test);
794             $path =~ s/^http\/tests\///;
795             print OUT "http://127.0.0.1:$httpdPort/$path$suffixExpectedHash\n";
796         } elsif ($test =~ /^http\/tests\/ssl\//) {
797             my $path = canonpath($test);
798             $path =~ s/^http\/tests\///;
799             print OUT "https://127.0.0.1:$httpdSSLPort/$path$suffixExpectedHash\n";
800         } else {
801             my $testPath = "$testDirectory/$test";
802             if (isCygwin()) {
803                 $testPath = toWindowsPath($testPath);
804             } else {
805                 $testPath = canonpath($testPath);
806             }
807             print OUT "$testPath$suffixExpectedHash\n";
808         }
809     } else {
810         my $testPath = "$testDirectory/$test";
811         if (isCygwin()) {
812             $testPath = toWindowsPath($testPath);
813         } else {
814             $testPath = canonpath($testPath);
815         }
816         print OUT "$testPath$suffixExpectedHash\n" if defined $testPath;
817     }
818
819     # DumpRenderTree is expected to dump two "blocks" to stdout for each test.
820     # Each block is terminated by a #EOF on a line by itself.
821     # The first block is the output of the test (in text, RenderTree or other formats).
822     # The second block is for optional pixel data in PNG format, and may be empty if
823     # pixel tests are not being run, or the test does not dump pixels (e.g. text tests).
824     my $readResults = readFromDumpToolWithTimer(IN, ERROR);
825
826     my $actual = $readResults->{output};
827     my $error = $readResults->{error};
828
829     $expectedExtension = $readResults->{extension};
830     my $expectedFileName = "$base-$expectedTag.$expectedExtension";
831
832     my $isText = isTextOnlyTest($actual);
833
834     my $expectedDir = expectedDirectoryForTest($base, $isText, $expectedExtension);
835     $expectedResultPaths{$base} = File::Spec->catfile($expectedDir, $expectedFileName);
836
837     unless ($readResults->{status} eq "success") {
838         my $crashed = $readResults->{status} eq "crashed";
839         my $webProcessCrashed = $readResults->{status} eq "webProcessCrashed";
840         testCrashedOrTimedOut($test, $base, $crashed, $webProcessCrashed, $actual, $error);
841         countFinishedTest($test, $base, $webProcessCrashed ? "webProcessCrash" : $crashed ? "crash" : "timedout", 0);
842         last if stopRunningTestsEarlyIfNeeded();
843         next;
844     }
845
846     $durations{$test} = time - $startTime if $report10Slowest;
847
848     my $expected;
849
850     if (!$resetResults && open EXPECTED, "<", $expectedResultPaths{$base}) {
851         $expected = "";
852         while (<EXPECTED>) {
853             next if $stripEditingCallbacks && $_ =~ /^EDITING DELEGATE:/;
854             $expected .= $_;
855         }
856         close EXPECTED;
857     }
858
859     if ($ignoreMetrics && !$isText && defined $expected) {
860         ($actual, $expected) = stripMetrics($actual, $expected);
861     }
862
863     if ($shouldCheckLeaks && $testsPerDumpTool == 1) {
864         print "        $test -> ";
865     }
866
867     my $actualPNG = "";
868     my $diffPNG = "";
869     my $diffPercentage = 0;
870     my $diffResult = "passed";
871
872     my $actualHash = "";
873     my $expectedHash = "";
874     my $actualPNGSize = 0;
875
876     while (<IN>) {
877         last if /#EOF/;
878         if (/ActualHash: ([a-f0-9]{32})/) {
879             $actualHash = $1;
880         } elsif (/ExpectedHash: ([a-f0-9]{32})/) {
881             $expectedHash = $1;
882         } elsif (/Content-Length: (\d+)\s*/) {
883             $actualPNGSize = $1;
884             read(IN, $actualPNG, $actualPNGSize);
885         }
886     }
887
888     if ($verbose && $pixelTests && !$resetResults && $actualPNGSize) {
889         if ($actualHash eq "" && $expectedHash eq "") {
890             printFailureMessageForTest($test, "WARNING: actual & expected pixel hashes are missing!");
891         } elsif ($actualHash eq "") {
892             printFailureMessageForTest($test, "WARNING: actual pixel hash is missing!");
893         } elsif ($expectedHash eq "") {
894             printFailureMessageForTest($test, "WARNING: expected pixel hash is missing!");
895         }
896     }
897
898     if ($actualPNGSize > 0) {
899         my $expectedPixelDir = expectedDirectoryForTest($base, 0, "png");
900         my $expectedPNGPath = File::Spec->catfile($expectedPixelDir, "$base-$expectedTag.png");
901
902         if (!$resetResults && ($expectedHash ne $actualHash || ($actualHash eq "" && $expectedHash eq ""))) {
903             if (-f $expectedPNGPath) {
904                 my $expectedPNGSize = -s $expectedPNGPath;
905                 my $expectedPNG = "";
906                 open EXPECTEDPNG, $expectedPNGPath;
907                 read(EXPECTEDPNG, $expectedPNG, $expectedPNGSize);
908
909                 openDiffTool();
910                 print DIFFOUT "Content-Length: $actualPNGSize\n";
911                 print DIFFOUT $actualPNG;
912
913                 print DIFFOUT "Content-Length: $expectedPNGSize\n";
914                 print DIFFOUT $expectedPNG;
915
916                 while (<DIFFIN>) {
917                     last if /^error/ || /^diff:/;
918                     if (/Content-Length: (\d+)\s*/) {
919                         read(DIFFIN, $diffPNG, $1);
920                     }
921                 }
922
923                 if (/^diff: (.+)% (passed|failed)/) {
924                     $diffPercentage = $1 + 0;
925                     $imageDifferences{$base} = $diffPercentage;
926                     $diffResult = $2;
927                 }
928                 
929                 if (!$diffPercentage) {
930                     printFailureMessageForTest($test, "pixel hash failed (but pixel test still passes)");
931                 }
932             } elsif ($verbose) {
933                 printFailureMessageForTest($test, "WARNING: expected image is missing!");
934             }
935         }
936
937         if ($resetResults || !-f $expectedPNGPath) {
938             if (!$addPlatformExceptions) {
939                 mkpath catfile($expectedPixelDir, dirname($base)) if $testDirectory ne $expectedPixelDir;
940                 writeToFile($expectedPNGPath, $actualPNG);
941             } else {
942                 mkpath catfile($platformTestDirectory, dirname($base));
943                 writeToFile("$platformTestDirectory/$base-$expectedTag.png", $actualPNG);
944             }
945         }
946     }
947
948     if (dumpToolDidCrash()) {
949         $result = "crash";
950         testCrashedOrTimedOut($test, $base, 1, 0, $actual, $error);
951     } elsif (!defined $expected) {
952         if ($verbose) {
953             print "new " . ($resetResults ? "result" : "test");
954         }
955         $result = "new";
956
957         if ($generateNewResults || $resetResults) {
958             if (!$addPlatformExceptions) {
959                 mkpath catfile($expectedDir, dirname($base)) if $testDirectory ne $expectedDir;
960                 writeToFile("$expectedDir/$expectedFileName", $actual);
961             } else {
962                 mkpath catfile($platformTestDirectory, dirname($base));
963                 writeToFile("$platformTestDirectory/$expectedFileName", $actual);
964             }
965         }
966         deleteExpectedAndActualResults($base);
967         recordActualResultsAndDiff($base, $actual);
968         if (!$resetResults) {
969             # Always print the file name for new tests, as they will probably need some manual inspection.
970             # in verbose mode we already printed the test case, so no need to do it again.
971             unless ($verbose) {
972                 print "\n" unless $atLineStart;
973                 print "$test -> ";
974             }
975             my $resultsDir = catdir($expectedDir, dirname($base));
976             if (!$verbose) {
977                 print "new";
978             }
979             if ($generateNewResults) {
980                 print " (results generated in $resultsDir)";
981             }
982             print "\n" unless $atLineStart;
983             $atLineStart = 1;
984         }
985     } elsif ($actual eq $expected && $diffResult eq "passed") {
986         if ($verbose) {
987             print "succeeded\n";
988             $atLineStart = 1;
989         }
990         $result = "match";
991         deleteExpectedAndActualResults($base);
992     } else {
993         $result = "mismatch";
994
995         my $pixelTestFailed = $pixelTests && $diffPNG && $diffPNG ne "";
996         my $testFailed = $actual ne $expected;
997
998         my $message = !$testFailed ? "pixel test failed" : "failed";
999
1000         if (($testFailed || $pixelTestFailed) && $addPlatformExceptions) {
1001             my $testBase = catfile($testDirectory, $base);
1002             my $expectedBase = catfile($expectedDir, $base);
1003             my $testIsMaximallyPlatformSpecific = $testBase =~ m|^\Q$platformTestDirectory\E/|;
1004             my $expectedResultIsMaximallyPlatformSpecific = $expectedBase =~ m|^\Q$platformTestDirectory\E/|;
1005             if (!$testIsMaximallyPlatformSpecific && !$expectedResultIsMaximallyPlatformSpecific) {
1006                 mkpath catfile($platformTestDirectory, dirname($base));
1007                 if ($testFailed) {
1008                     my $expectedFile = catfile($platformTestDirectory, "$expectedFileName");
1009                     writeToFile("$expectedFile", $actual);
1010                 }
1011                 if ($pixelTestFailed) {
1012                     my $expectedFile = catfile($platformTestDirectory, "$base-$expectedTag.png");
1013                     writeToFile("$expectedFile", $actualPNG);
1014                 }
1015                 $message .= " (results generated in $platformTestDirectory)";
1016             }
1017         }
1018
1019         printFailureMessageForTest($test, $message);
1020
1021         my $dir = "$testResultsDirectory/$base";
1022         $dir =~ s|/([^/]+)$|| or die "Failed to find test name from base\n";
1023         my $testName = $1;
1024         mkpath $dir;
1025
1026         deleteExpectedAndActualResults($base);
1027         recordActualResultsAndDiff($base, $actual);
1028
1029         if ($pixelTestFailed) {
1030             $imagesPresent{$base} = 1;
1031
1032             writeToFile("$testResultsDirectory/$base-$actualTag.png", $actualPNG);
1033             writeToFile("$testResultsDirectory/$base-$diffsTag.png", $diffPNG);
1034
1035             my $expectedPixelDir = expectedDirectoryForTest($base, 0, "png");
1036             copy("$expectedPixelDir/$base-$expectedTag.png", "$testResultsDirectory/$base-$expectedTag.png");
1037
1038             open DIFFHTML, ">$testResultsDirectory/$base-$diffsTag.html" or die;
1039             print DIFFHTML "<html>\n";
1040             print DIFFHTML "<head>\n";
1041             print DIFFHTML "<title>$base Image Compare</title>\n";
1042             print DIFFHTML "<script language=\"Javascript\" type=\"text/javascript\">\n";
1043             print DIFFHTML "var currentImage = 0;\n";
1044             print DIFFHTML "var imageNames = new Array(\"Actual\", \"Expected\");\n";
1045             print DIFFHTML "var imagePaths = new Array(\"$testName-$actualTag.png\", \"$testName-$expectedTag.png\");\n";
1046             if (-f "$testDirectory/$base-w3c.png") {
1047                 copy("$testDirectory/$base-w3c.png", "$testResultsDirectory/$base-w3c.png");
1048                 print DIFFHTML "imageNames.push(\"W3C\");\n";
1049                 print DIFFHTML "imagePaths.push(\"$testName-w3c.png\");\n";
1050             }
1051             print DIFFHTML "function animateImage() {\n";
1052             print DIFFHTML "    var image = document.getElementById(\"animatedImage\");\n";
1053             print DIFFHTML "    var imageText = document.getElementById(\"imageText\");\n";
1054             print DIFFHTML "    image.src = imagePaths[currentImage];\n";
1055             print DIFFHTML "    imageText.innerHTML = imageNames[currentImage] + \" Image\";\n";
1056             print DIFFHTML "    currentImage = (currentImage + 1) % imageNames.length;\n";
1057             print DIFFHTML "    setTimeout('animateImage()',2000);\n";
1058             print DIFFHTML "}\n";
1059             print DIFFHTML "</script>\n";
1060             print DIFFHTML "</head>\n";
1061             print DIFFHTML "<body onLoad=\"animateImage();\">\n";
1062             print DIFFHTML "<table>\n";
1063             if ($diffPercentage) {
1064                 print DIFFHTML "<tr>\n";
1065                 print DIFFHTML "<td>Difference between images: <a href=\"$testName-$diffsTag.png\">$diffPercentage%</a></td>\n";
1066                 print DIFFHTML "</tr>\n";
1067             }
1068             print DIFFHTML "<tr>\n";
1069             print DIFFHTML "<td><a href=\"" . toURL("$testDirectory/$test") . "\">test file</a></td>\n";
1070             print DIFFHTML "</tr>\n";
1071             print DIFFHTML "<tr>\n";
1072             print DIFFHTML "<td id=\"imageText\" style=\"text-weight: bold;\">Actual Image</td>\n";
1073             print DIFFHTML "</tr>\n";
1074             print DIFFHTML "<tr>\n";
1075             print DIFFHTML "<td><img src=\"$testName-$actualTag.png\" id=\"animatedImage\"></td>\n";
1076             print DIFFHTML "</tr>\n";
1077             print DIFFHTML "</table>\n";
1078             print DIFFHTML "</body>\n";
1079             print DIFFHTML "</html>\n";
1080         }
1081     }
1082
1083     if ($error) {
1084         my $dir = dirname(File::Spec->catdir($testResultsDirectory, $base));
1085         mkpath $dir;
1086         
1087         writeToFile(File::Spec->catfile($testResultsDirectory, "$base-$errorTag.txt"), $error);
1088         
1089         $counts{error}++;
1090         push @{$tests{error}}, $test;
1091     }
1092
1093     countFinishedTest($test, $base, $result, $isText);
1094     last if stopRunningTestsEarlyIfNeeded();
1095 }
1096
1097 close($tests_run_fh);
1098
1099 my $totalTestingTime = time - $overallStartTime;
1100 my $waitTime = getWaitTime();
1101 if ($waitTime > 0.1) {
1102     my $normalizedTestingTime = $totalTestingTime - $waitTime;
1103     printf "\n%0.2fs HTTPD waiting time\n", $waitTime . "";
1104     printf "%0.2fs normalized testing time", $normalizedTestingTime . "";
1105 }
1106 printf "\n%0.2fs total testing time\n", $totalTestingTime . "";
1107
1108 !$isDumpToolOpen || die "Failed to close $dumpToolName.\n";
1109
1110 $isHttpdOpen = !closeHTTPD();
1111 closeWebSocketServer();
1112
1113 # Because multiple instances of this script are running concurrently we cannot 
1114 # safely delete this symlink.
1115 # system "rm /tmp/LayoutTests";
1116
1117 # FIXME: Do we really want to check the image-comparison tool for leaks every time?
1118 if ($isDiffToolOpen && $shouldCheckLeaks) {
1119     $totalLeaks += countAndPrintLeaks("ImageDiff", $imageDiffToolPID, "$testResultsDirectory/ImageDiff-leaks.txt");
1120 }
1121
1122 if ($totalLeaks) {
1123     if ($mergeDepth) {
1124         parseLeaksandPrintUniqueLeaks();
1125     } else { 
1126         print "\nWARNING: $totalLeaks total leaks found!\n";
1127         print "See above for individual leaks results.\n" if ($leaksOutputFileNumber > 2);
1128     }
1129 }
1130
1131 close IN;
1132 close OUT;
1133 close ERROR;
1134
1135 if ($report10Slowest) {
1136     print "\n\nThe 10 slowest tests:\n\n";
1137     my $count = 0;
1138     for my $test (sort slowestcmp keys %durations) {
1139         printf "%0.2f secs: %s\n", $durations{$test}, $test;
1140         last if ++$count == 10;
1141     }
1142 }
1143
1144 print "\n";
1145
1146 if ($skippedOnly && $counts{"match"}) {
1147     print "The following tests are in the Skipped file (" . File::Spec->abs2rel("$platformTestDirectory/Skipped", $testDirectory) . "), but succeeded:\n";
1148     foreach my $test (@{$tests{"match"}}) {
1149         print "  $test\n";
1150     }
1151 }
1152
1153 if ($resetResults || ($counts{match} && $counts{match} == $count)) {
1154     print "all $count test cases succeeded\n";
1155     unlink $testResults;
1156     exit;
1157 }
1158
1159 printResults();
1160
1161 mkpath $testResultsDirectory;
1162
1163 open HTML, ">", $testResults or die "Failed to open $testResults. $!";
1164 print HTML <<EOF;
1165 <html>
1166 <head>
1167 <title>Layout Test Results</title>
1168 <style>
1169 .stopped-running-early-message {
1170     border: 3px solid #d00;
1171     font-weight: bold;
1172 }
1173 </style>
1174 </head>
1175 </body>
1176 EOF
1177
1178 if ($ignoreMetrics) {
1179     print HTML "<h4>Tested with metrics ignored.</h4>";
1180 }
1181
1182 if ($stoppedRunningEarlyMessage) {
1183     print HTML "<p class='stopped-running-early-message'>$stoppedRunningEarlyMessage</p>";
1184 }
1185
1186 print HTML htmlForResultsSection(@{$tests{mismatch}}, "Tests where results did not match expected results", \&linksForMismatchTest);
1187 print HTML htmlForResultsSection(@{$tests{timedout}}, "Tests that timed out", \&linksForErrorTest);
1188 print HTML htmlForResultsSection(@{$tests{crash}}, "Tests that caused the DumpRenderTree tool to crash", \&linksForErrorTest);
1189 print HTML htmlForResultsSection(@{$tests{webProcessCrash}}, "Tests that caused the Web process to crash", \&linksForErrorTest);
1190 print HTML htmlForResultsSection(@{$tests{error}}, "Tests that had stderr output", \&linksForErrorTest);
1191 print HTML htmlForResultsSection(@{$tests{new}}, "Tests that had no expected results (probably new)", \&linksForNewTest);
1192
1193 print HTML "<p>httpd access log: <a href=\"access_log.txt\">access_log.txt</a></p>\n";
1194 print HTML "<p>httpd error log: <a href=\"error_log.txt\">error_log.txt</a></p>\n";
1195
1196 print HTML "</body>\n";
1197 print HTML "</html>\n";
1198 close HTML;
1199
1200 my @configurationArgs = argumentsForConfiguration();
1201
1202 if (isGtk()) {
1203   push(@configurationArgs, '-2') if $useWebKitTestRunner;
1204   system "Tools/Scripts/run-launcher", @configurationArgs, "file://".$testResults if $launchSafari;
1205 } elsif (isQt()) {
1206   unshift @configurationArgs, qw(-style windows);
1207   if (getQtVersion() lt "5.0") {
1208     unshift @configurationArgs, qw(-graphicssystem raster);
1209   }
1210   if (isCygwin()) {
1211     $testResults = "/" . toWindowsPath($testResults);
1212     $testResults =~ s/\\/\//g;
1213   }
1214   push(@configurationArgs, '-2') if $useWebKitTestRunner;
1215   system "Tools/Scripts/run-launcher", @configurationArgs, "file://".$testResults if $launchSafari;
1216 } elsif (isCygwin()) {
1217   system "cygstart", $testResults if $launchSafari;
1218 } elsif (isWindows()) {
1219   system "start", $testResults if $launchSafari;
1220 } else {
1221   system "Tools/Scripts/run-safari", @configurationArgs, "-NSOpen", $testResults if $launchSafari;
1222 }
1223
1224 closeCygpaths() if isCygwin();
1225
1226 exit 1;
1227
1228 sub countAndPrintLeaks($$$)
1229 {
1230     my ($dumpToolName, $dumpToolPID, $leaksFilePath) = @_;
1231
1232     print "\n" unless $atLineStart;
1233     $atLineStart = 1;
1234
1235     # We are excluding the following reported leaks so they don't get in our way when looking for WebKit leaks:
1236     # This allows us ignore known leaks and only be alerted when new leaks occur. Some leaks are in the old
1237     # versions of the system frameworks that are being used by the leaks bots. Even though a leak has been
1238     # fixed, it will be listed here until the bot has been updated with the newer frameworks.
1239
1240     my @typesToExclude = (
1241     );
1242
1243     my @callStacksToExclude = (
1244         "Flash_EnforceLocalSecurity", # leaks in Flash plug-in code, rdar://problem/4449747
1245         "ScanFromString", # <http://code.google.com/p/angleproject/issues/detail?id=249> leak in ANGLE
1246     );
1247
1248     if (isLeopard()) {
1249         # Leak list for the version of Leopard used on the build bot.
1250         push @callStacksToExclude, (
1251             "CFHTTPMessageAppendBytes", # leak in CFNetwork, rdar://problem/5435912
1252             "sendDidReceiveDataCallback", # leak in CFNetwork, rdar://problem/5441619
1253             "_CFHTTPReadStreamReadMark", # leak in CFNetwork, rdar://problem/5441468
1254             "httpProtocolStart", # leak in CFNetwork, rdar://problem/5468837
1255             "_CFURLConnectionSendCallbacks", # leak in CFNetwork, rdar://problem/5441600
1256             "DispatchQTMsg", # leak in QuickTime, PPC only, rdar://problem/5667132
1257             "QTMovieContentView createVisualContext", # leak in QuickTime, PPC only, rdar://problem/5667132
1258             "_CopyArchitecturesForJVMVersion", # leak in Java, rdar://problem/5910823
1259         );
1260     }
1261
1262     if (isSnowLeopard()) {
1263         push @callStacksToExclude, (
1264             "readMakerNoteProps", # <rdar://problem/7156432> leak in ImageIO
1265             "QTKitMovieControllerView completeUISetup", # <rdar://problem/7155156> leak in QTKit
1266             "getVMInitArgs", # <rdar://problem/7714444> leak in Java
1267             "Java_java_lang_System_initProperties", # <rdar://problem/7714465> leak in Java
1268             "glrCompExecuteKernel", # <rdar://problem/7815391> leak in graphics driver while using OpenGL
1269             "NSNumberFormatter getObjectValue:forString:errorDescription:", # <rdar://problem/7149350> Leak in NSNumberFormatter
1270         );
1271     }
1272
1273     if (isLion()) {
1274         push @callStacksToExclude, (
1275             "FigByteFlumeCustomURLCreateWithURL", # <rdar://problem/10461926> leak in CoreMedia
1276             "PDFPage\\(PDFPageInternal\\) pageLayoutIfAvail", # <rdar://problem/10462055> leak in PDFKit
1277             "SecTransformExecute", # <rdar://problem/10470667> leak in Security.framework
1278             "_NSCopyStyleRefForFocusRingStyleClip", # <rdar://problem/10462031> leak in AppKit
1279         );
1280     }
1281
1282     my $leaksTool = sourceDir() . "/Tools/Scripts/run-leaks";
1283     my $excludeString = "--exclude-callstack '" . (join "' --exclude-callstack '", @callStacksToExclude) . "'";
1284     $excludeString .= " --exclude-type '" . (join "' --exclude-type '", @typesToExclude) . "'" if @typesToExclude;
1285
1286     print " ? checking for leaks in $dumpToolName\n";
1287     my $leaksOutput = `$leaksTool $excludeString $dumpToolPID`;
1288     my ($count, $bytes) = $leaksOutput =~ /Process $dumpToolPID: (\d+) leaks? for (\d+) total/;
1289     my ($excluded) = $leaksOutput =~ /(\d+) leaks? excluded/;
1290
1291     my $adjustedCount = $count;
1292     $adjustedCount -= $excluded if $excluded;
1293
1294     if (!$adjustedCount) {
1295         print " - no leaks found\n";
1296         unlink $leaksFilePath;
1297         return 0;
1298     } else {
1299         my $dir = $leaksFilePath;
1300         $dir =~ s|/[^/]+$|| or die;
1301         mkpath $dir;
1302
1303         if ($excluded) {
1304             print " + $adjustedCount leaks ($bytes bytes including $excluded excluded leaks) were found, details in $leaksFilePath\n";
1305         } else {
1306             print " + $count leaks ($bytes bytes) were found, details in $leaksFilePath\n";
1307         }
1308
1309         writeToFile($leaksFilePath, $leaksOutput);
1310         
1311         push @leaksFilenames, $leaksFilePath;
1312     }
1313
1314     return $adjustedCount;
1315 }
1316
1317 sub writeToFile($$)
1318 {
1319     my ($filePath, $contents) = @_;
1320     open NEWFILE, ">", "$filePath" or die "Could not create $filePath. $!\n";
1321     print NEWFILE $contents;
1322     close NEWFILE;
1323 }
1324
1325 # Break up a path into the directory (with slash) and base name.
1326 sub splitpath($)
1327 {
1328     my ($path) = @_;
1329
1330     my $pathSeparator = "/";
1331     my $dirname = dirname($path) . $pathSeparator;
1332     $dirname = "" if $dirname eq "." . $pathSeparator;
1333
1334     return ($dirname, basename($path));
1335 }
1336
1337 # Sort first by directory, then by file, so all paths in one directory are grouped
1338 # rather than being interspersed with items from subdirectories.
1339 # Use numericcmp to sort directory and filenames to make order logical.
1340 sub pathcmp($$)
1341 {
1342     my ($patha, $pathb) = @_;
1343
1344     my ($dira, $namea) = splitpath($patha);
1345     my ($dirb, $nameb) = splitpath($pathb);
1346
1347     return numericcmp($dira, $dirb) if $dira ne $dirb;
1348     return numericcmp($namea, $nameb);
1349 }
1350
1351 # Sort numeric parts of strings as numbers, other parts as strings.
1352 # Makes 1.33 come after 1.3, which is cool.
1353 sub numericcmp($$)
1354 {
1355     my ($aa, $bb) = @_;
1356
1357     my @a = split /(\d+)/, $aa;
1358     my @b = split /(\d+)/, $bb;
1359
1360     # Compare one chunk at a time.
1361     # Each chunk is either all numeric digits, or all not numeric digits.
1362     while (@a && @b) {
1363         my $a = shift @a;
1364         my $b = shift @b;
1365         
1366         # Use numeric comparison if chunks are non-equal numbers.
1367         return $a <=> $b if $a =~ /^\d/ && $b =~ /^\d/ && $a != $b;
1368
1369         # Use string comparison if chunks are any other kind of non-equal string.
1370         return $a cmp $b if $a ne $b;
1371     }
1372     
1373     # One of the two is now empty; compare lengths for result in this case.
1374     return @a <=> @b;
1375 }
1376
1377 # Sort slowest tests first.
1378 sub slowestcmp($$)
1379 {
1380     my ($testa, $testb) = @_;
1381
1382     my $dura = $durations{$testa};
1383     my $durb = $durations{$testb};
1384     return $durb <=> $dura if $dura != $durb;
1385     return pathcmp($testa, $testb);
1386 }
1387
1388 sub launchWithEnv(\@\%)
1389 {
1390     my ($args, $env) = @_;
1391
1392     # Dump the current environment as perl code and then put it in quotes so it is one parameter.
1393     my $environmentDumper = Data::Dumper->new([\%{$env}], [qw(*ENV)]);
1394     $environmentDumper->Indent(0);
1395     $environmentDumper->Purity(1);
1396     my $allEnvVars = $environmentDumper->Dump();
1397     unshift @{$args}, "\"$allEnvVars\"";
1398
1399     my $execScript = File::Spec->catfile(sourceDir(), qw(Tools Scripts execAppWithEnv));
1400     unshift @{$args}, $perlInterpreter, $execScript;
1401     return @{$args};
1402 }
1403
1404 sub resolveAndMakeTestResultsDirectory()
1405 {
1406     my $absTestResultsDirectory = File::Spec->rel2abs(glob $testResultsDirectory);
1407     mkpath $absTestResultsDirectory;
1408     return $absTestResultsDirectory;
1409 }
1410
1411 sub openDiffTool()
1412 {
1413     return if $isDiffToolOpen;
1414     return if !$pixelTests;
1415
1416     my %CLEAN_ENV;
1417     $CLEAN_ENV{MallocStackLogging} = 1 if $shouldCheckLeaks;
1418     $imageDiffToolPID = open2(\*DIFFIN, \*DIFFOUT, $imageDiffTool, launchWithEnv(@diffToolArgs, %CLEAN_ENV)) or die "unable to open $imageDiffTool\n";
1419     $isDiffToolOpen = 1;
1420 }
1421
1422 sub buildDumpTool($)
1423 {
1424     my ($dumpToolName) = @_;
1425
1426     my $dumpToolBuildScript =  "build-" . lc($dumpToolName);
1427     print STDERR "Running $dumpToolBuildScript\n";
1428
1429     local *DEVNULL;
1430     my ($childIn, $childOut, $childErr);
1431     if ($quiet) {
1432         open(DEVNULL, ">", File::Spec->devnull()) or die "Failed to open /dev/null";
1433         $childOut = ">&DEVNULL";
1434         $childErr = ">&DEVNULL";
1435     } else {
1436         # When not quiet, let the child use our stdout/stderr.
1437         $childOut = ">&STDOUT";
1438         $childErr = ">&STDERR";
1439     }
1440
1441     my @args = argumentsForConfiguration();
1442     my $buildProcess = open3($childIn, $childOut, $childErr, $perlInterpreter, File::Spec->catfile(qw(Tools Scripts), $dumpToolBuildScript), @args) or die "Failed to run build-dumprendertree";
1443     close($childIn);
1444     waitpid $buildProcess, 0;
1445     my $buildResult = $?;
1446     close($childOut);
1447     close($childErr);
1448
1449     close DEVNULL if ($quiet);
1450
1451     if ($buildResult) {
1452         print STDERR "Compiling $dumpToolName failed!\n";
1453         exit exitStatus($buildResult);
1454     }
1455 }
1456
1457 sub openDumpTool()
1458 {
1459     return if $isDumpToolOpen;
1460
1461     if ($verbose && $testsPerDumpTool != 1) {
1462         print "| Opening DumpTool |\n";
1463     }
1464
1465     my %CLEAN_ENV;
1466
1467     # Generic environment variables
1468     if (defined $ENV{'WEBKIT_TESTFONTS'}) {
1469         $CLEAN_ENV{WEBKIT_TESTFONTS} = $ENV{'WEBKIT_TESTFONTS'};
1470     }
1471
1472     # unique temporary directory for each DumpRendertree - needed for running more DumpRenderTree in parallel
1473     $CLEAN_ENV{DUMPRENDERTREE_TEMP} = File::Temp::tempdir('DumpRenderTree-XXXXXX', TMPDIR => 1, CLEANUP => 1);
1474     $CLEAN_ENV{XML_CATALOG_FILES} = ""; # work around missing /etc/catalog <rdar://problem/4292995>
1475     $CLEAN_ENV{LOCAL_RESOURCE_ROOT} = $testDirectory; # Used by layoutTestConstroller.pathToLocalResource()
1476
1477     # Platform spesifics
1478     if (isLinux()) {
1479         if (defined $ENV{'DISPLAY'}) {
1480             $CLEAN_ENV{DISPLAY} = $ENV{'DISPLAY'};
1481         } else {
1482             $CLEAN_ENV{DISPLAY} = ":1";
1483         }
1484         if (defined $ENV{'XAUTHORITY'}) {
1485             $CLEAN_ENV{XAUTHORITY} = $ENV{'XAUTHORITY'};
1486         }
1487
1488         $CLEAN_ENV{HOME} = $ENV{'HOME'};
1489         $CLEAN_ENV{LANG} = $ENV{'LANG'};
1490
1491         if (defined $ENV{'LD_LIBRARY_PATH'}) {
1492             $CLEAN_ENV{LD_LIBRARY_PATH} = $ENV{'LD_LIBRARY_PATH'};
1493         }
1494         if (defined $ENV{'DBUS_SESSION_BUS_ADDRESS'}) {
1495             $CLEAN_ENV{DBUS_SESSION_BUS_ADDRESS} = $ENV{'DBUS_SESSION_BUS_ADDRESS'};
1496         }
1497     } elsif (isDarwin()) {
1498         if (defined $ENV{'DYLD_LIBRARY_PATH'}) {
1499             $CLEAN_ENV{DYLD_LIBRARY_PATH} = $ENV{'DYLD_LIBRARY_PATH'};
1500         }
1501         if (defined $ENV{'HOME'}) {
1502             $CLEAN_ENV{HOME} = $ENV{'HOME'};
1503         }
1504
1505         $CLEAN_ENV{DYLD_FRAMEWORK_PATH} = $productDir;
1506         $CLEAN_ENV{DYLD_INSERT_LIBRARIES} = "/usr/lib/libgmalloc.dylib" if $guardMalloc;
1507     } elsif (isCygwin()) {
1508         $CLEAN_ENV{HOMEDRIVE} = $ENV{'HOMEDRIVE'};
1509         $CLEAN_ENV{HOMEPATH} = $ENV{'HOMEPATH'};
1510         $CLEAN_ENV{_NT_SYMBOL_PATH} = $ENV{_NT_SYMBOL_PATH};
1511     }
1512
1513     # Port specifics
1514     if (isGtk()) {
1515         $CLEAN_ENV{LIBOVERLAY_SCROLLBAR} = "0";
1516         $CLEAN_ENV{GTK_MODULES} = "gail";
1517         $CLEAN_ENV{WEBKIT_INSPECTOR_PATH} = "$productDir/resources/inspector";
1518
1519         if ($useWebKitTestRunner) {
1520             my $injectedBundlePath = productDir() . "/Libraries/.libs/libTestRunnerInjectedBundle";
1521             $CLEAN_ENV{TEST_RUNNER_INJECTED_BUNDLE_FILENAME} = $injectedBundlePath;
1522             my $testPluginPath = productDir() . "/TestNetscapePlugin/.libs";
1523             $CLEAN_ENV{TEST_RUNNER_TEST_PLUGIN_PATH} = $testPluginPath;
1524         }
1525     }
1526
1527     if (isQt()) {
1528         $CLEAN_ENV{QTWEBKIT_PLUGIN_PATH} = productDir() . "/lib/plugins";
1529         $CLEAN_ENV{QT_DRT_WEBVIEW_MODE} = $ENV{"QT_DRT_WEBVIEW_MODE"};
1530     }
1531     
1532     my @args = ($dumpTool, @toolArgs);
1533     if (isAppleMacWebKit()) { 
1534         unshift @args, "arch", "-" . architecture();             
1535     }
1536
1537     if ($useValgrind) {
1538         unshift @args, "valgrind", "--suppressions=$platformBaseDirectory/qt/SuppressedValgrindErrors";
1539     } 
1540
1541     if ($useWebKitTestRunner) {
1542         # Make WebKitTestRunner use a similar timeout. We don't use the exact same timeout to avoid
1543         # race conditions.
1544         push @args, "--timeout", $timeoutSeconds - 5;
1545     }
1546
1547     $CLEAN_ENV{MallocStackLogging} = 1 if $shouldCheckLeaks;
1548
1549     $dumpToolPID = open3(\*OUT, \*IN, \*ERROR, launchWithEnv(@args, %CLEAN_ENV)) or die "Failed to start tool: $dumpTool\n";
1550     $isDumpToolOpen = 1;
1551     $dumpToolCrashed = 0;
1552 }
1553
1554 sub closeDumpTool()
1555 {
1556     return if !$isDumpToolOpen;
1557
1558     if ($verbose && $testsPerDumpTool != 1) {
1559         print "| Closing DumpTool |\n";
1560     }
1561
1562     close IN;
1563     close OUT;
1564     waitpid $dumpToolPID, 0;
1565     
1566     # check for WebCore counter leaks.
1567     if ($shouldCheckLeaks) {
1568         while (<ERROR>) {
1569             print;
1570         }
1571     }
1572     close ERROR;
1573     $isDumpToolOpen = 0;
1574 }
1575
1576 sub dumpToolDidCrash()
1577 {
1578     return 1 if $dumpToolCrashed;
1579     return 0 unless $isDumpToolOpen;
1580     my $pid = waitpid(-1, WNOHANG);
1581     return 1 if ($pid == $dumpToolPID);
1582
1583     # On Mac OS X, crashing may be significantly delayed by crash reporter.
1584     return 0 unless isAppleMacWebKit();
1585
1586     return DumpRenderTreeSupport::processIsCrashing($dumpToolPID);
1587 }
1588
1589 sub configureAndOpenHTTPDIfNeeded()
1590 {
1591     return if $isHttpdOpen;
1592     my $absTestResultsDirectory = resolveAndMakeTestResultsDirectory();
1593     my $listen = "127.0.0.1:$httpdPort";
1594     my @args = (
1595         "-c", "CustomLog \"$absTestResultsDirectory/access_log.txt\" common",
1596         "-c", "ErrorLog \"$absTestResultsDirectory/error_log.txt\"",
1597         "-C", "Listen $listen"
1598     );
1599
1600     my @defaultArgs = getDefaultConfigForTestDirectory($testDirectory);
1601     @args = (@defaultArgs, @args);
1602
1603     waitForHTTPDLock() if $shouldWaitForHTTPD;
1604     $isHttpdOpen = openHTTPD(@args);
1605 }
1606
1607 sub checkPythonVersion()
1608 {
1609     # we have not chdir to sourceDir yet.
1610     system $perlInterpreter, File::Spec->catfile(sourceDir(), qw(Tools Scripts ensure-valid-python)), "--check-only";
1611     return exitStatus($?) == 0;
1612 }
1613
1614 sub openWebSocketServerIfNeeded()
1615 {
1616     return 1 if $isWebSocketServerOpen;
1617     return 0 if $failedToStartWebSocketServer;
1618
1619     my $webSocketHandlerDir = "$testDirectory";
1620     my $absTestResultsDirectory = resolveAndMakeTestResultsDirectory();
1621     $webSocketServerPidFile = "$absTestResultsDirectory/websocket.pid";
1622
1623     my @args = (
1624         "Tools/Scripts/new-run-webkit-websocketserver",
1625         "--server", "start",
1626         "--port", "$webSocketPort",
1627         "--root", "$webSocketHandlerDir",
1628         "--output-dir", "$absTestResultsDirectory",
1629         "--pidfile", "$webSocketServerPidFile"
1630     );
1631     system "/usr/bin/python", @args;
1632
1633     $isWebSocketServerOpen = 1;
1634     return 1;
1635 }
1636
1637 sub closeWebSocketServer()
1638 {
1639     return if !$isWebSocketServerOpen;
1640
1641     my @args = (
1642         "Tools/Scripts/new-run-webkit-websocketserver",
1643         "--server", "stop",
1644         "--pidfile", "$webSocketServerPidFile"
1645     );
1646     system "/usr/bin/python", @args;
1647     unlink "$webSocketServerPidFile";
1648
1649     # wss is disabled until all platforms support pyOpenSSL.
1650     $isWebSocketServerOpen = 0;
1651 }
1652
1653 sub fileNameWithNumber($$)
1654 {
1655     my ($base, $number) = @_;
1656     return "$base$number" if ($number > 1);
1657     return $base;
1658 }
1659
1660 sub processIgnoreTests($$)
1661 {
1662     my @ignoreList = split(/\s*,\s*/, shift);
1663     my $listName = shift;
1664
1665     my $disabledSuffix = "-disabled";
1666
1667     my $addIgnoredDirectories = sub {
1668         return () if exists $ignoredLocalDirectories{basename($File::Find::dir)};
1669         $ignoredDirectories{File::Spec->abs2rel($File::Find::dir, $testDirectory)} = 1;
1670         return @_;
1671     };
1672     foreach my $item (@ignoreList) {
1673         my $path = catfile($testDirectory, $item); 
1674         if (-d $path) {
1675             $ignoredDirectories{$item} = 1;
1676             find({ preprocess => $addIgnoredDirectories, wanted => sub {} }, $path);
1677         }
1678         elsif (-f $path) {
1679             $ignoredFiles{$item} = 1;
1680         } elsif (-f $path . $disabledSuffix) {
1681             # The test is disabled, so do nothing.
1682         } else {
1683             print "$listName list contained '$item', but no file of that name could be found\n";
1684         }
1685     }
1686 }
1687
1688 sub stripExtension($)
1689 {
1690     my ($test) = @_;
1691
1692     $test =~ s/\.[a-zA-Z]+$//;
1693     return $test;
1694 }
1695
1696 sub isTextOnlyTest($)
1697 {
1698     my ($actual) = @_;
1699     my $isText;
1700     if ($actual =~ /^layer at/ms) {
1701         $isText = 0;
1702     } else {
1703         $isText = 1;
1704     }
1705     return $isText;
1706 }
1707
1708 sub expectedDirectoryForTest($;$;$)
1709 {
1710     my ($base, $isText, $expectedExtension) = @_;
1711
1712     my @directories = @platformResultHierarchy;
1713
1714     my @extraPlatforms = ();
1715     if (isAppleWinWebKit()) {
1716         push @extraPlatforms, "mac-wk2" if $platform eq "win-wk2";
1717         push @extraPlatforms, qw(mac-lion mac);
1718     }
1719   
1720     push @directories, map { catdir($platformBaseDirectory, $_) } @extraPlatforms;
1721     push @directories, $expectedDirectory;
1722
1723     # If we already have expected results, just return their location.
1724     foreach my $directory (@directories) {
1725         return $directory if -f File::Spec->catfile($directory, "$base-$expectedTag.$expectedExtension");
1726     }
1727
1728     # For cross-platform tests, text-only results should go in the cross-platform directory,
1729     # while render tree dumps should go in the least-specific platform directory.
1730     return $isText ? $expectedDirectory : $platformResultHierarchy[$#platformResultHierarchy];
1731 }
1732
1733 sub countFinishedTest($$$$)
1734 {
1735     my ($test, $base, $result, $isText) = @_;
1736
1737     if (($count + 1) % $testsPerDumpTool == 0 || $count == $#tests) {
1738         if ($shouldCheckLeaks) {
1739             my $fileName;
1740             if ($testsPerDumpTool == 1) {
1741                 $fileName = File::Spec->catfile($testResultsDirectory, "$base-leaks.txt");
1742             } else {
1743                 $fileName = File::Spec->catfile($testResultsDirectory, fileNameWithNumber($dumpToolName, $leaksOutputFileNumber) . "-leaks.txt");
1744             }
1745             my $leakCount = countAndPrintLeaks($dumpToolName, $dumpToolPID, $fileName);
1746             $totalLeaks += $leakCount;
1747             $leaksOutputFileNumber++ if ($leakCount);
1748         }
1749
1750         closeDumpTool();
1751     }
1752     
1753     $count++;
1754     $counts{$result}++;
1755     push @{$tests{$result}}, $test;
1756 }
1757
1758 sub testCrashedOrTimedOut($$$$$$)
1759 {
1760     my ($test, $base, $didCrash, $webProcessCrashed, $actual, $error) = @_;
1761
1762     printFailureMessageForTest($test, $webProcessCrashed ? "Web process crashed" : $didCrash ? "crashed" : "timed out");
1763
1764     sampleDumpTool() unless $didCrash || $webProcessCrashed;
1765
1766     my $dir = dirname(File::Spec->catdir($testResultsDirectory, $base));
1767     mkpath $dir;
1768
1769     deleteExpectedAndActualResults($base);
1770
1771     if (defined($error) && length($error)) {
1772         writeToFile(File::Spec->catfile($testResultsDirectory, "$base-$errorTag.txt"), $error);
1773     }
1774
1775     recordActualResultsAndDiff($base, $actual);
1776
1777     # There's no point in killing the dump tool when it's crashed. And it will kill itself when the
1778     # web process crashes.
1779     kill 9, $dumpToolPID unless $didCrash || $webProcessCrashed;
1780
1781     closeDumpTool();
1782
1783     captureSavedCrashLog($base, $webProcessCrashed) if $didCrash || $webProcessCrashed;
1784
1785     return unless isCygwin() && !$didCrash && $base =~ /^http/;
1786     # On Cygwin, http tests timing out can be a symptom of a non-responsive httpd.
1787     # If we timed out running an http test, try restarting httpd.
1788     $isHttpdOpen = !closeHTTPD();
1789     configureAndOpenHTTPDIfNeeded();
1790 }
1791
1792 sub captureSavedCrashLog($$)
1793 {
1794     my ($base, $webProcessCrashed) = @_;
1795
1796     my $crashLog;
1797
1798     my $glob;
1799     if (isCygwin()) {
1800         $glob = File::Spec->catfile($testResultsDirectory, $windowsCrashLogFilePrefix . "*.txt");
1801     } elsif (isAppleMacWebKit()) {
1802         my $crashLogDirectoryName;
1803         if (isLeopard()) {
1804             $crashLogDirectoryName = "CrashReporter";
1805         } else {
1806             $crashLogDirectoryName = "DiagnosticReports";
1807         }
1808
1809         $glob = File::Spec->catfile("~", "Library", "Logs", $crashLogDirectoryName, ($webProcessCrashed ? "WebProcess" : $dumpToolName) . "_*.crash");
1810
1811         # Even though the dump tool has exited, CrashReporter might still be running. We need to
1812         # wait for it to exit to ensure it has saved its crash log to disk. For simplicitly, we'll
1813         # assume that the ReportCrash process with the highest PID is the one we want.
1814         if (my @reportCrashPIDs = sort map { /^\s*(\d+)/; $1 } grep { /ReportCrash/ } `/bin/ps x`) {
1815             my $reportCrashPID = $reportCrashPIDs[$#reportCrashPIDs];
1816             # We use kill instead of waitpid because ReportCrash is not one of our child processes.
1817             usleep(250000) while kill(0, $reportCrashPID) > 0;
1818         }
1819     }
1820
1821     return unless $glob;
1822
1823     # We assume that the newest crash log in matching the glob is the one that corresponds to the crash that just occurred.
1824     if (my $newestCrashLog = findNewestFileMatchingGlob($glob)) {
1825         # The crash log must have been created after this script started running.
1826         $crashLog = $newestCrashLog if -M $newestCrashLog < 0;
1827     }
1828
1829     return unless $crashLog;
1830
1831     move($crashLog, File::Spec->catfile($testResultsDirectory, "$base-$crashLogTag.txt"));
1832 }
1833
1834 sub findNewestFileMatchingGlob($)
1835 {
1836     my ($glob) = @_;
1837
1838     my @paths = glob $glob;
1839     return unless scalar(@paths);
1840
1841     my @pathsAndTimes = map { [$_, -M $_] } @paths;
1842     @pathsAndTimes = sort { $b->[1] <=> $a->[1] } @pathsAndTimes;
1843     return $pathsAndTimes[$#pathsAndTimes]->[0];
1844 }
1845
1846 sub printFailureMessageForTest($$)
1847 {
1848     my ($test, $description) = @_;
1849
1850     unless ($verbose) {
1851         print "\n" unless $atLineStart;
1852         print "$test -> ";
1853     }
1854     print "$description\n";
1855     $atLineStart = 1;
1856 }
1857
1858 my %cygpaths = ();
1859
1860 sub openCygpathIfNeeded($)
1861 {
1862     my ($options) = @_;
1863
1864     return unless isCygwin();
1865     return $cygpaths{$options} if $cygpaths{$options} && $cygpaths{$options}->{"open"};
1866
1867     local (*CYGPATHIN, *CYGPATHOUT);
1868     my $pid = open2(\*CYGPATHIN, \*CYGPATHOUT, "cygpath -f - $options");
1869     my $cygpath =  {
1870         "pid" => $pid,
1871         "in" => *CYGPATHIN,
1872         "out" => *CYGPATHOUT,
1873         "open" => 1
1874     };
1875
1876     $cygpaths{$options} = $cygpath;
1877
1878     return $cygpath;
1879 }
1880
1881 sub closeCygpaths()
1882 {
1883     return unless isCygwin();
1884
1885     foreach my $cygpath (values(%cygpaths)) {
1886         close $cygpath->{"in"};
1887         close $cygpath->{"out"};
1888         waitpid($cygpath->{"pid"}, 0);
1889         $cygpath->{"open"} = 0;
1890
1891     }
1892 }
1893
1894 sub convertPathUsingCygpath($$)
1895 {
1896     my ($path, $options) = @_;
1897
1898     # cygpath -f (at least in Cygwin 1.7) converts spaces into newlines. We remove spaces here and
1899     # add them back in after conversion to work around this.
1900     my $spaceSubstitute = "__NOTASPACE__";
1901     $path =~ s/ /\Q$spaceSubstitute\E/g;
1902
1903     my $cygpath = openCygpathIfNeeded($options);
1904     local *inFH = $cygpath->{"in"};
1905     local *outFH = $cygpath->{"out"};
1906     print outFH $path . "\n";
1907     my $convertedPath = <inFH>;
1908     chomp($convertedPath) if defined $convertedPath;
1909
1910     $convertedPath =~ s/\Q$spaceSubstitute\E/ /g;
1911     return $convertedPath;
1912 }
1913
1914 sub toCygwinPath($)
1915 {
1916     my ($path) = @_;
1917     return unless isCygwin();
1918
1919     return convertPathUsingCygpath($path, "-u");
1920 }
1921
1922 sub toWindowsPath($)
1923 {
1924     my ($path) = @_;
1925     return unless isCygwin();
1926
1927     return convertPathUsingCygpath($path, "-w");
1928 }
1929
1930 sub toURL($)
1931 {
1932     my ($path) = @_;
1933
1934     if ($useRemoteLinksToTests) {
1935         my $relativePath = File::Spec->abs2rel($path, $testDirectory);
1936
1937         # If the file is below the test directory then convert it into a link to the file in SVN
1938         if ($relativePath !~ /^\.\.\//) {
1939             my $revision = svnRevisionForDirectory($testDirectory);
1940             my $svnPath = pathRelativeToSVNRepositoryRootForPath($path);
1941             return "http://trac.webkit.org/export/$revision/$svnPath";
1942         }
1943     }
1944
1945     return $path unless isCygwin();
1946
1947     return "file:///" . convertPathUsingCygpath($path, "-m");
1948 }
1949
1950 sub validateSkippedArg($$;$)
1951 {
1952     my ($option, $value, $value2) = @_;
1953     my %validSkippedValues = map { $_ => 1 } qw(default ignore only);
1954     $value = lc($value);
1955     die "Invalid argument '" . $value . "' for option $option" unless $validSkippedValues{$value};
1956     $treatSkipped = $value;
1957 }
1958
1959 sub htmlForResultsSection(\@$&)
1960 {
1961     my ($tests, $description, $linkGetter) = @_;
1962
1963     my @html = ();
1964     return join("\n", @html) unless @{$tests};
1965
1966     push @html, "<p>$description:</p>";
1967     push @html, "<table>";
1968     foreach my $test (@{$tests}) {
1969         push @html, "<tr>";
1970         push @html, "<td><a href=\"" . toURL("$testDirectory/$test") . "\">$test</a></td>";
1971         foreach my $link (@{&{$linkGetter}($test)}) {
1972             push @html, "<td>";
1973             push @html, "<a href=\"$link->{href}\">$link->{text}</a>" if -f File::Spec->catfile($testResultsDirectory, $link->{href});
1974             push @html, "</td>";
1975         }
1976         push @html, "</tr>";
1977     }
1978     push @html, "</table>";
1979
1980     return join("\n", @html);
1981 }
1982
1983 sub linksForExpectedAndActualResults($)
1984 {
1985     my ($base) = @_;
1986
1987     my @links = ();
1988
1989     return \@links unless -s "$testResultsDirectory/$base-$diffsTag.txt";
1990     
1991     my $expectedResultPath = $expectedResultPaths{$base};
1992     my ($expectedResultFileName, $expectedResultsDirectory, $expectedResultExtension) = fileparse($expectedResultPath, qr{\.[^.]+$});
1993
1994     push @links, { href => "$base-$expectedTag$expectedResultExtension", text => "expected" };
1995     push @links, { href => "$base-$actualTag$expectedResultExtension", text => "actual" };
1996     push @links, { href => "$base-$diffsTag.txt", text => "diff" };
1997     push @links, { href => "$base-$prettyDiffTag.html", text => "pretty diff" };
1998
1999     return \@links;
2000 }
2001
2002 sub linksForMismatchTest
2003 {
2004     my ($test) = @_;
2005
2006     my @links = ();
2007
2008     my $base = stripExtension($test);
2009
2010     push @links, @{linksForExpectedAndActualResults($base)};
2011     return \@links unless $pixelTests && $imagesPresent{$base};
2012
2013     push @links, { href => "$base-$expectedTag.png", text => "expected image" };
2014     push @links, { href => "$base-$diffsTag.html", text => "image diffs" };
2015     push @links, { href => "$base-$diffsTag.png", text => "$imageDifferences{$base}%" };
2016
2017     return \@links;
2018 }
2019
2020 sub crashLocation($)
2021 {
2022     my ($base) = @_;
2023
2024     my $crashLogFile = File::Spec->catfile($testResultsDirectory, "$base-$crashLogTag.txt");
2025
2026     if (isCygwin()) {
2027         # We're looking for the following text:
2028         #
2029         # FOLLOWUP_IP:
2030         # module!function+offset [file:line]
2031         #
2032         # The second contains the function that crashed (or the function that ended up jumping to a bad
2033         # address, as in the case of a null function pointer).
2034
2035         open LOG, "<", $crashLogFile or return;
2036         while (my $line = <LOG>) {
2037             last if $line =~ /^FOLLOWUP_IP:/;
2038         }
2039         my $desiredLine = <LOG>;
2040         close LOG;
2041
2042         return unless $desiredLine;
2043
2044         # Just take everything up to the first space (which is where the file/line information should
2045         # start).
2046         $desiredLine =~ /^(\S+)/;
2047         return $1;
2048     }
2049
2050     if (isAppleMacWebKit()) {
2051         # We're looking for the following text:
2052         #
2053         # Thread M Crashed:
2054         # N   module                              address function + offset (file:line)
2055         #
2056         # Some lines might have a module of "???" if we've jumped to a bad address. We should skip
2057         # past those.
2058
2059         open LOG, "<", $crashLogFile or return;
2060         while (my $line = <LOG>) {
2061             last if $line =~ /^Thread \d+ Crashed:/;
2062         }
2063         my $location;
2064         while (my $line = <LOG>) {
2065             $line =~ /^\d+\s+(\S+)\s+\S+ (.* \+ \d+)/ or next;
2066             my $module = $1;
2067             my $functionAndOffset = $2;
2068             next if $module eq "???";
2069             $location = "$module: $functionAndOffset";
2070             last;
2071         }
2072         close LOG;
2073         return $location;
2074     }
2075 }
2076
2077 sub linksForErrorTest
2078 {
2079     my ($test) = @_;
2080
2081     my @links = ();
2082
2083     my $base = stripExtension($test);
2084
2085     my $crashLogText = "crash log";
2086     if (my $crashLocation = crashLocation($base)) {
2087         $crashLogText .= " (<code>" . CGI::escapeHTML($crashLocation) . "</code>)";
2088     }
2089
2090     push @links, @{linksForExpectedAndActualResults($base)};
2091     push @links, { href => "$base-$errorTag.txt", text => "stderr" };
2092     push @links, { href => "$base-$crashLogTag.txt", text => $crashLogText };
2093
2094     return \@links;
2095 }
2096
2097 sub linksForNewTest
2098 {
2099     my ($test) = @_;
2100
2101     my @links = ();
2102
2103     my $base = stripExtension($test);
2104
2105     my $expectedResultPath = $expectedResultPaths{$base};
2106     my ($expectedResultFileName, $expectedResultsDirectory, $expectedResultExtension) = fileparse($expectedResultPath, qr{\.[^.]+$});
2107
2108     push @links, { href => "$base-$actualTag$expectedResultExtension", text => "result" };
2109     if ($pixelTests && $imagesPresent{$base}) {
2110         push @links, { href => "$base-$expectedTag.png", text => "image" };
2111     }
2112
2113     return \@links;
2114 }
2115
2116 sub deleteExpectedAndActualResults($)
2117 {
2118     my ($base) = @_;
2119
2120     unlink "$testResultsDirectory/$base-$actualTag.txt";
2121     unlink "$testResultsDirectory/$base-$diffsTag.txt";
2122     unlink "$testResultsDirectory/$base-$errorTag.txt";
2123     unlink "$testResultsDirectory/$base-$crashLogTag.txt";
2124 }
2125
2126 sub recordActualResultsAndDiff($$)
2127 {
2128     my ($base, $actualResults) = @_;
2129
2130     return unless defined($actualResults) && length($actualResults);
2131
2132     my $expectedResultPath = $expectedResultPaths{$base};
2133     my ($expectedResultFileNameMinusExtension, $expectedResultDirectoryPath, $expectedResultExtension) = fileparse($expectedResultPath, qr{\.[^.]+$});
2134     my $actualResultsPath = File::Spec->catfile($testResultsDirectory, "$base-$actualTag$expectedResultExtension");
2135     my $copiedExpectedResultsPath = File::Spec->catfile($testResultsDirectory, "$base-$expectedTag$expectedResultExtension");
2136
2137     mkpath(dirname($actualResultsPath));
2138     writeToFile("$actualResultsPath", $actualResults);
2139
2140     # We don't need diff and pretty diff for tests without expected file.
2141     if ( !-f $expectedResultPath) {
2142         return;
2143     }
2144
2145     copy("$expectedResultPath", "$copiedExpectedResultsPath");
2146
2147     my $diffOuputBasePath = File::Spec->catfile($testResultsDirectory, $base);
2148     my $diffOutputPath = "$diffOuputBasePath-$diffsTag.txt";
2149     system "diff -u \"$copiedExpectedResultsPath\" \"$actualResultsPath\" > \"$diffOutputPath\"";
2150
2151     my $prettyDiffOutputPath = "$diffOuputBasePath-$prettyDiffTag.html";
2152     my $prettyPatchPath = "Websites/bugs.webkit.org/PrettyPatch/";
2153     my $prettifyPath = "$prettyPatchPath/prettify.rb";
2154     system "ruby -I \"$prettyPatchPath\" \"$prettifyPath\" \"$diffOutputPath\" > \"$prettyDiffOutputPath\"";
2155 }
2156
2157 sub buildPlatformResultHierarchy()
2158 {
2159     mkpath($platformTestDirectory) if ($platform eq "undefined" && !-d "$platformTestDirectory");
2160
2161     my @platforms;
2162     
2163     my $isMac = $platform =~ /^mac/;
2164     my $isWin = $platform =~ /^win/;
2165     if ($isMac || $isWin) {
2166         my $effectivePlatform = $platform;
2167         if ($platform eq "mac-wk2" || $platform eq "win-wk2") {
2168             push @platforms, $platform;
2169             $effectivePlatform = $realPlatform;
2170         }
2171
2172         my @platformList = $isMac ? @macPlatforms : @winPlatforms;
2173         my $i;
2174         for ($i = 0; $i < @platformList; $i++) {
2175             last if $platformList[$i] eq $effectivePlatform;
2176         }
2177         for (; $i < @platformList; $i++) {
2178             push @platforms, $platformList[$i];
2179         }
2180
2181         if ($platform eq "wincairo") {
2182             @platforms = $platform;
2183         }
2184     } elsif ($platform =~ /^qt/) {
2185         if ($platform eq "qt-wk2") {
2186             push @platforms, $platform;
2187         }
2188
2189         if (isARM() || $platform eq "qt-arm") {
2190             push @platforms, "qt-arm";
2191         }
2192
2193         if (isDarwin() || $platform eq "qt-mac") {
2194             push @platforms, "qt-mac";
2195         }
2196         elsif (isWindows() || isCygwin() || $platform eq "qt-win") {
2197             push @platforms, "qt-win";
2198         }
2199         elsif (isLinux() || $platform eq "qt-linux") {
2200             push @platforms, "qt-linux";
2201         }
2202
2203         if (getQtVersion() eq "4.8" || $platform eq "qt-4.8") {
2204             push @platforms, "qt-4.8";
2205         }
2206         elsif (getQtVersion() eq "5.0" || $platform eq "qt-5.0") {
2207             push @platforms, "qt-5.0";
2208         }
2209
2210         push @platforms, "qt";
2211     } elsif ($platform =~ /^gtk-/) {
2212         push @platforms, $platform;
2213         push @platforms, "gtk";
2214     } else {
2215         @platforms = $platform;
2216     }
2217
2218     my @hierarchy;
2219     for (my $i = 0; $i < @platforms; $i++) {
2220         my $scoped = catdir($platformBaseDirectory, $platforms[$i]);
2221         push(@hierarchy, $scoped) if (-d $scoped);
2222     }
2223     
2224     unshift @hierarchy, grep { -d $_ } @additionalPlatformDirectories;
2225
2226     return @hierarchy;
2227 }
2228
2229 sub buildPlatformTestHierarchy(@)
2230 {
2231     my (@platformHierarchy) = @_;
2232
2233     my @result;
2234     if ($platform =~ /^qt/) {
2235         for (my $i = 0; $i < @platformHierarchy; ++$i) {
2236            push @result, $platformHierarchy[$i];
2237         }
2238     } else {
2239         my $wk2Platform;
2240         for (my $i = 0; $i < @platformHierarchy; ++$i) {
2241             if ($platformHierarchy[$i] =~ /-wk2/) {
2242                 $wk2Platform = splice @platformHierarchy, $i, 1;
2243                 last;
2244             }
2245         }
2246
2247        push @result, $platformHierarchy[0];
2248        push @result, $wk2Platform if defined $wk2Platform;
2249        push @result, $platformHierarchy[$#platformHierarchy] if @platformHierarchy >= 2;
2250     }
2251
2252     if ($verbose) {
2253         my @searchPaths;
2254         foreach my $searchPath (@result) {
2255             my ($dir, $name) = splitpath($searchPath);
2256             push @searchPaths, $name;
2257         }
2258         my $searchPathHierarchy = join(' -> ', @searchPaths);
2259         print "Baseline search path: $searchPathHierarchy\n";
2260     }
2261
2262     return @result;
2263 }
2264
2265 sub epiloguesAndPrologues($$)
2266 {
2267     my ($lastDirectory, $directory) = @_;
2268     my @lastComponents = split('/', $lastDirectory);
2269     my @components = split('/', $directory);
2270
2271     while (@lastComponents) {
2272         if (!defined($components[0]) || $lastComponents[0] ne $components[0]) {
2273             last;
2274         }
2275         shift @components;
2276         shift @lastComponents;
2277     }
2278
2279     my @result;
2280     my $leaving = $lastDirectory;
2281     foreach (@lastComponents) {
2282         my $epilogue = $leaving . "/resources/run-webkit-tests-epilogue.html";
2283         foreach (@platformResultHierarchy) {
2284             push @result, catdir($_, $epilogue) if (stat(catdir($_, $epilogue)));
2285         }
2286         push @result, catdir($testDirectory, $epilogue) if (stat(catdir($testDirectory, $epilogue)));
2287         $leaving =~ s|(^\|/)[^/]+$||;
2288     }
2289
2290     my $entering = $leaving;
2291     foreach (@components) {
2292         $entering .= '/' . $_;
2293         my $prologue = $entering . "/resources/run-webkit-tests-prologue.html";
2294         push @result, catdir($testDirectory, $prologue) if (stat(catdir($testDirectory, $prologue)));
2295         foreach (reverse @platformResultHierarchy) {
2296             push @result, catdir($_, $prologue) if (stat(catdir($_, $prologue)));
2297         }
2298     }
2299     return @result;
2300 }
2301     
2302 sub parseLeaksandPrintUniqueLeaks()
2303 {
2304     return unless @leaksFilenames;
2305
2306     my $mergedFilenames = join " ", @leaksFilenames;
2307     my $parseMallocHistoryTool = sourceDir() . "/Tools/Scripts/parse-malloc-history";
2308     
2309     open MERGED_LEAKS, "cat $mergedFilenames | $parseMallocHistoryTool --merge-depth $mergeDepth  - |" ;
2310     my @leakLines = <MERGED_LEAKS>;
2311     close MERGED_LEAKS;
2312     
2313     my $uniqueLeakCount = 0;
2314     my $totalBytes;
2315     foreach my $line (@leakLines) {
2316         ++$uniqueLeakCount if ($line =~ /^(\d*)\scalls/);
2317         $totalBytes = $1 if $line =~ /^total\:\s(.*)\s\(/;
2318     }
2319     
2320     print "\nWARNING: $totalLeaks total leaks found for a total of $totalBytes!\n";
2321     print "WARNING: $uniqueLeakCount unique leaks found!\n";
2322     print "See above for individual leaks results.\n" if ($leaksOutputFileNumber > 2);
2323     
2324 }
2325
2326 sub extensionForMimeType($)
2327 {
2328     my ($mimeType) = @_;
2329
2330     if ($mimeType eq "application/x-webarchive") {
2331         return "webarchive";
2332     } elsif ($mimeType eq "application/pdf") {
2333         return "pdf";
2334     } elsif ($mimeType eq "audio/wav") {
2335         return "wav";
2336     }
2337     return "txt";
2338 }
2339
2340 # Read up to the first #EOF (the content block of the test), or until detecting crashes or timeouts.
2341 sub readFromDumpToolWithTimer(**)
2342 {
2343     my ($fhIn, $fhError) = @_;
2344
2345     setFileHandleNonBlocking($fhIn, 1);
2346     setFileHandleNonBlocking($fhError, 1);
2347
2348     my $maximumSecondsWithoutOutput = $timeoutSeconds;
2349     my $microsecondsToWaitBeforeReadingAgain = 1000;
2350
2351     my $timeOfLastSuccessfulRead = time;
2352
2353     my @output = ();
2354     my @error = ();
2355     my $status = "success";
2356     my $mimeType = "text/plain";
2357     my $encoding = "";
2358     # We don't have a very good way to know when the "headers" stop
2359     # and the content starts, so we use this as a hack:
2360     my $haveSeenContentType = 0;
2361     my $haveSeenContentTransferEncoding = 0;
2362     my $haveSeenEofIn = 0;
2363     my $haveSeenEofError = 0;
2364
2365     while (1) {
2366         if (time - $timeOfLastSuccessfulRead > $maximumSecondsWithoutOutput) {
2367             $status = dumpToolDidCrash() ? "crashed" : "timedOut";
2368             last;
2369         }
2370
2371         # Once we've seen the EOF, we must not read anymore.
2372         my $lineIn = readline($fhIn) unless $haveSeenEofIn;
2373         my $lineError = readline($fhError) unless $haveSeenEofError;
2374         if (!defined($lineIn) && !defined($lineError)) {
2375             last if ($haveSeenEofIn && $haveSeenEofError);
2376
2377             if ($! != EAGAIN) {
2378                 $status = "crashed";
2379                 last;
2380             }
2381
2382             # No data ready
2383             usleep($microsecondsToWaitBeforeReadingAgain);
2384             next;
2385         }
2386
2387         $timeOfLastSuccessfulRead = time;
2388
2389         if (defined($lineIn)) {
2390             if (!$haveSeenContentType && $lineIn =~ /^Content-Type: (\S+)$/) {
2391                 $mimeType = $1;
2392                 $haveSeenContentType = 1;
2393             } elsif (!$haveSeenContentTransferEncoding && $lineIn =~ /^Content-Transfer-Encoding: (\S+)$/) {
2394                 $encoding = $1;
2395                 $haveSeenContentTransferEncoding = 1;
2396             } elsif ($lineIn =~ /(.*)#EOF$/) {
2397                 if ($1 ne "") {
2398                     push @output, $1;
2399                 }
2400                 $haveSeenEofIn = 1;
2401             } else {
2402                 push @output, $lineIn;
2403             }
2404         }
2405         if (defined($lineError)) {
2406             if ($lineError =~ /#CRASHED - WebProcess/) {
2407                 $status = "webProcessCrashed";
2408                 last;
2409             }
2410             if ($lineError =~ /#CRASHED/) {
2411                 $status = "crashed";
2412                 last;
2413             }
2414             if ($lineError =~ /#EOF/) {
2415                 $haveSeenEofError = 1;
2416             } else {
2417                 push @error, $lineError;
2418             }
2419         }
2420     }
2421
2422     setFileHandleNonBlocking($fhIn, 0);
2423     setFileHandleNonBlocking($fhError, 0);
2424     my $joined_output = join("", @output);
2425     if ($encoding eq "base64") {
2426         $joined_output = decode_base64($joined_output);
2427     }
2428     return {
2429         output => $joined_output,
2430         error => join("", @error),
2431         status => $status,
2432         mimeType => $mimeType,
2433         extension => extensionForMimeType($mimeType)
2434     };
2435 }
2436
2437 sub setFileHandleNonBlocking(*$)
2438 {
2439     my ($fh, $nonBlocking) = @_;
2440
2441     my $flags = fcntl($fh, F_GETFL, 0) or die "Couldn't get filehandle flags";
2442
2443     if ($nonBlocking) {
2444         $flags |= O_NONBLOCK;
2445     } else {
2446         $flags &= ~O_NONBLOCK;
2447     }
2448
2449     fcntl($fh, F_SETFL, $flags) or die "Couldn't set filehandle flags";
2450
2451     return 1;
2452 }
2453
2454 sub sampleDumpTool()
2455 {
2456     return unless isAppleMacWebKit();
2457     return unless $runSample;
2458
2459     my $outputDirectory = "$ENV{HOME}/Library/Logs/DumpRenderTree";
2460     -d $outputDirectory or mkdir $outputDirectory;
2461
2462     my $outputFile = "$outputDirectory/HangReport.txt";
2463     system "/usr/bin/sample", $dumpToolPID, qw(10 10 -file), $outputFile;
2464 }
2465
2466 sub stripMetrics($$)
2467 {
2468     my ($actual, $expected) = @_;
2469
2470     foreach my $result ($actual, $expected) {
2471         $result =~ s/at \(-?[0-9]+,-?[0-9]+\) *//g;
2472         $result =~ s/size -?[0-9]+x-?[0-9]+ *//g;
2473         $result =~ s/text run width -?[0-9]+: //g;
2474         $result =~ s/text run width -?[0-9]+ [a-zA-Z ]+: //g;
2475         $result =~ s/RenderButton {BUTTON} .*/RenderButton {BUTTON}/g;
2476         $result =~ s/RenderImage {INPUT} .*/RenderImage {INPUT}/g;
2477         $result =~ s/RenderBlock {INPUT} .*/RenderBlock {INPUT}/g;
2478         $result =~ s/RenderTextControl {INPUT} .*/RenderTextControl {INPUT}/g;
2479         $result =~ s/\([0-9]+px/px/g;
2480         $result =~ s/ *" *\n +" */ /g;
2481         $result =~ s/" +$/"/g;
2482
2483         $result =~ s/- /-/g;
2484         $result =~ s/\n( *)"\s+/\n$1"/g;
2485         $result =~ s/\s+"\n/"\n/g;
2486         $result =~ s/scrollWidth [0-9]+/scrollWidth/g;
2487         $result =~ s/scrollHeight [0-9]+/scrollHeight/g;
2488     }
2489
2490     return ($actual, $expected);
2491 }
2492
2493 sub fileShouldBeIgnored
2494 {
2495     my ($filePath) = @_;
2496     foreach my $ignoredDir (keys %ignoredDirectories) {
2497         if ($filePath =~ m/^$ignoredDir/) {
2498             return 1;
2499         }
2500     }
2501     return 0;
2502 }
2503
2504 sub readSkippedFiles($)
2505 {
2506     my ($constraintPath) = @_;
2507
2508     my @skippedFileDirectories = @platformTestHierarchy;
2509
2510     # Because nearly all of the skipped tests for WebKit 2 on Mac are due to
2511     # cross-platform issues, the Windows and Qt ports use the Mac skipped list
2512     # additionally to their own to avoid maintaining separate lists.
2513     push(@skippedFileDirectories, catdir($platformBaseDirectory, "wk2")) if ($platform eq "win-wk2" || $platform eq "qt-wk2" || $platform eq "mac-wk2" || $platform eq "gtk-wk2");
2514
2515     # Add Qt WK1-only skipped tests.
2516     push(@skippedFileDirectories, catdir($platformBaseDirectory, "qt-wk1")) if (isQt() && !$useWebKitTestRunner);
2517
2518     if ($verbose) {
2519         foreach my $skippedPath (@skippedFileDirectories) {
2520             print "Using Skipped file: $skippedPath\n";
2521         }
2522     }
2523
2524     foreach my $level (@skippedFileDirectories) {
2525         if (open SKIPPED, "<", "$level/Skipped") {
2526             if ($verbose) {
2527                 my ($dir, $name) = splitpath($level);
2528                 print "Skipped tests in $name:\n";
2529             }
2530
2531             while (<SKIPPED>) {
2532                 my $skipped = $_;
2533                 chomp $skipped;
2534                 $skipped =~ s/^[ \n\r]+//;
2535                 $skipped =~ s/[ \n\r]+$//;
2536                 if ($skipped && $skipped !~ /^#/) {
2537                     if ($skippedOnly) {
2538                         if (!fileShouldBeIgnored($skipped)) {
2539                             if (!$constraintPath) {
2540                                 # Always add $skipped since no constraint path was specified on the command line.
2541                                 push(@ARGV, $skipped);
2542                             } elsif ($skipped =~ /^($constraintPath)/ || ("LayoutTests/".$skipped) =~ /^($constraintPath)/ ) {
2543                                 # Add $skipped only if it matches the current path constraint, e.g.,
2544                                 # "--skipped=only dir1" with "dir1/file1.html" on the skipped list or
2545                                 # "--skipped=only LayoutTests/dir1" with "dir1/file1.html" on the skipped list
2546                                 push(@ARGV, $skipped);
2547                             } elsif ($constraintPath =~ /^("LayoutTests\/".$skipped)/ || $constraintPath =~ /^($skipped)/) {
2548                                 # Add current path constraint if it is more specific than the skip list entry,
2549                                 # e.g., "--skipped=only dir1/dir2/dir3" with "dir1" on the skipped list or
2550                                 # e.g., "--skipped=only LayoutTests/dir1/dir2/dir3" with "dir1" on the skipped list.
2551                                 push(@ARGV, $constraintPath);
2552                             }
2553                         } elsif ($verbose) {
2554                             print "    $skipped\n";
2555                         }
2556                     } else {
2557                         if ($verbose) {
2558                             print "    $skipped\n";
2559                         }
2560                         processIgnoreTests($skipped, "Skipped");
2561                     }
2562                 }
2563             }
2564             close SKIPPED;
2565         }
2566     }
2567 }
2568
2569 sub readChecksumFromPng($)
2570 {
2571     my ($path) = @_;
2572     my $data;
2573     if (open(PNGFILE, $path) && read(PNGFILE, $data, 2048) && $data =~ /tEXtchecksum\0([a-fA-F0-9]{32})/) {
2574         return $1;
2575     }
2576 }
2577
2578 my @testsFound;
2579
2580 sub isUsedInReftest($)
2581 {
2582     my $filename = $_[0];
2583     if ($filename =~ /-$expectedTag(-$mismatchTag)?\.html$/) {
2584         return 1;
2585     }
2586     my $base = stripExtension($filename);
2587     return (-f "$base-$expectedTag.html" || -f "$base-$expectedTag-$mismatchTag.html");
2588 }
2589
2590 sub directoryFilter
2591 {
2592     return () if exists $ignoredLocalDirectories{basename($File::Find::dir)};
2593     return () if exists $ignoredDirectories{File::Spec->abs2rel($File::Find::dir, $testDirectory)};
2594     return @_;
2595 }
2596
2597 sub fileFilter
2598 {
2599     my $filename = $_;
2600     if ($filename =~ /\.([^.]+)$/) {
2601         my $extension = $1;
2602         if (exists $supportedFileExtensions{$extension} && !isUsedInReftest($filename)) {
2603             my $path = File::Spec->abs2rel(catfile($File::Find::dir, $filename), $testDirectory);
2604             push @testsFound, $path if !exists $ignoredFiles{$path};
2605         }
2606     }
2607 }
2608
2609 sub findTestsToRun
2610 {
2611     my @testsToRun = ();
2612
2613     for my $test (@ARGV) {
2614         $test =~ s/^(\Q$layoutTestsName\E|\Q$testDirectory\E)\///;
2615         my $fullPath = catfile($testDirectory, $test);
2616         if (file_name_is_absolute($test)) {
2617             print "can't run test $test outside $testDirectory\n";
2618         } elsif (-f $fullPath && !isUsedInReftest($fullPath)) {
2619             my ($filename, $pathname, $fileExtension) = fileparse($test, qr{\.[^.]+$});
2620             if (!exists $supportedFileExtensions{substr($fileExtension, 1)}) {
2621                 print "test $test does not have a supported extension\n";
2622             } elsif ($testHTTP || $pathname !~ /^http\//) {
2623                 push @testsToRun, $test;
2624             }
2625         } elsif (-d $fullPath) {
2626             @testsFound = ();
2627             find({ preprocess => \&directoryFilter, wanted => \&fileFilter }, $fullPath);
2628             for my $level (@platformTestHierarchy) {
2629                 my $platformPath = catfile($level, $test);
2630                 find({ preprocess => \&directoryFilter, wanted => \&fileFilter }, $platformPath) if (-d $platformPath);
2631             }
2632             push @testsToRun, sort pathcmp @testsFound;
2633             @testsFound = ();
2634         } else {
2635             print "test $test not found\n";
2636         }
2637     }
2638
2639     if (!scalar @ARGV) {
2640         @testsFound = ();
2641         find({ preprocess => \&directoryFilter, wanted => \&fileFilter }, $testDirectory);
2642         for my $level (@platformTestHierarchy) {
2643             find({ preprocess => \&directoryFilter, wanted => \&fileFilter }, $level);
2644         }
2645         push @testsToRun, sort pathcmp @testsFound;
2646         @testsFound = ();
2647
2648         # We need to minimize the time when Apache and WebSocketServer is locked by tests
2649         # so run them last if no explicit order was specified in the argument list.
2650         my @httpTests;
2651         my @websocketTests;
2652         my @otherTests;
2653         foreach my $test (@testsToRun) {
2654             if ($test =~ /^http\//) {
2655                 push(@httpTests, $test);
2656             } elsif ($test =~ /^websocket\//) {
2657                 push(@websocketTests, $test);
2658             } else {
2659                 push(@otherTests, $test);
2660             }
2661         }
2662         @testsToRun = (@otherTests, @httpTests, @websocketTests);
2663     }
2664
2665     # Reverse the tests
2666     @testsToRun = reverse @testsToRun if $reverseTests;
2667
2668     # Shuffle the array
2669     @testsToRun = shuffle(@testsToRun) if $randomizeTests;
2670
2671     return @testsToRun;
2672 }
2673
2674 sub printResults
2675 {
2676     my %text = (
2677         match => "succeeded",
2678         mismatch => "had incorrect layout",
2679         new => "were new",
2680         timedout => "timed out",
2681         crash => "crashed",
2682         webProcessCrash => "Web process crashed",
2683         error => "had stderr output"
2684     );
2685
2686     for my $type ("match", "mismatch", "new", "timedout", "crash", "webProcessCrash", "error") {
2687         my $typeCount = $counts{$type};
2688         next unless $typeCount;
2689         my $typeText = $text{$type};
2690         my $message;
2691         if ($typeCount == 1) {
2692             $typeText =~ s/were/was/;
2693             $message = sprintf "1 test case (%d%%) %s\n", 1 * 100 / $count, $typeText;
2694         } else {
2695             $message = sprintf "%d test cases (%d%%) %s\n", $typeCount, $typeCount * 100 / $count, $typeText;
2696         }
2697         $message =~ s-\(0%\)-(<1%)-;
2698         print $message;
2699     }
2700 }
2701
2702 sub stopRunningTestsEarlyIfNeeded()
2703 {
2704     # --reset-results does not check pass vs. fail, so exitAfterNFailures makes no sense with --reset-results.
2705     return 0 if $resetResults;
2706
2707     my $passCount = $counts{match} || 0; # $counts{match} will be undefined if we've not yet passed a test (e.g. the first test fails).
2708     my $newCount = $counts{new} || 0;
2709     my $failureCount = $count - $passCount - $newCount; # "Failure" here includes timeouts, crashes, etc.
2710     if ($exitAfterNFailures && $failureCount >= $exitAfterNFailures) {
2711         $stoppedRunningEarlyMessage = "Exiting early after $failureCount failures. $count tests run.";
2712         print "\n", $stoppedRunningEarlyMessage;
2713         closeDumpTool();
2714         return 1;
2715     }
2716
2717     my $crashCount = $counts{crash} || 0;
2718     my $webProcessCrashCount = $counts{webProcessCrash} || 0;
2719     my $timeoutCount = $counts{timedout} || 0;
2720     if ($exitAfterNCrashesOrTimeouts && $crashCount + $webProcessCrashCount + $timeoutCount >= $exitAfterNCrashesOrTimeouts) {
2721         $stoppedRunningEarlyMessage = "Exiting early after $crashCount crashes, $webProcessCrashCount web process crashes, and $timeoutCount timeouts. $count tests run.";
2722         print "\n", $stoppedRunningEarlyMessage;
2723         closeDumpTool();
2724         return 1;
2725     }
2726
2727     return 0;
2728 }
2729
2730 # Store this at global scope so it won't be GCed (and thus unlinked) until the program exits.
2731 my $debuggerTempDirectory;
2732
2733 sub createDebuggerCommandFile()
2734 {
2735     return unless isCygwin();
2736
2737     my @commands = (
2738         '.logopen /t "' . toWindowsPath($testResultsDirectory) . "\\" . $windowsCrashLogFilePrefix . '.txt"',
2739         '.srcpath "' . toWindowsPath(sourceDir()) . '"',
2740         '!analyze -vv',
2741         '~*kpn',
2742         'q',
2743     );
2744
2745     $debuggerTempDirectory = File::Temp->newdir;
2746
2747     my $commandFile = File::Spec->catfile($debuggerTempDirectory, "debugger-commands.txt");
2748     unless (open COMMANDS, '>', $commandFile) {
2749         print "Failed to open $commandFile. Crash logs will not be saved.\n";
2750         return;
2751     }
2752     print COMMANDS join("\n", @commands), "\n";
2753     unless (close COMMANDS) {
2754         print "Failed to write to $commandFile. Crash logs will not be saved.\n";
2755         return;
2756     }
2757
2758     return $commandFile;
2759 }
2760
2761 sub setUpWindowsCrashLogSaving()
2762 {
2763     return unless isCygwin();
2764
2765     unless (defined $ENV{_NT_SYMBOL_PATH}) {
2766         print "The _NT_SYMBOL_PATH environment variable is not set. Crash logs will not be saved.\nSee <http://trac.webkit.org/wiki/BuildingOnWindows#GettingCrashLogs>.\n";
2767         return;
2768     }
2769
2770     my $ntsdPath = File::Spec->catfile(toCygwinPath($ENV{PROGRAMFILES}), "Debugging Tools for Windows (x86)", "ntsd.exe");
2771     unless (-f $ntsdPath) {
2772         $ntsdPath = File::Spec->catfile(toCygwinPath($ENV{ProgramW6432}), "Debugging Tools for Windows (x64)", "ntsd.exe");
2773         unless (-f $ntsdPath) {
2774             $ntsdPath = File::Spec->catfile(toCygwinPath($ENV{SYSTEMROOT}), "system32", "ntsd.exe");
2775             unless (-f $ntsdPath) {
2776                 print STDERR "Can't find ntsd.exe. Crash logs will not be saved.\nSee <http://trac.webkit.org/wiki/BuildingOnWindows#GettingCrashLogs>.\n";
2777                 return;
2778             }
2779         }
2780     }
2781
2782     # If we used -c (instead of -cf) we could pass the commands directly on the command line. But
2783     # when the commands include multiple quoted paths (e.g., for .logopen and .srcpath), Windows
2784     # fails to invoke the post-mortem debugger at all (perhaps due to a bug in Windows's command
2785     # line parsing). So we save the commands to a file instead and tell the debugger to execute them
2786     # using -cf.
2787     my $commandFile = createDebuggerCommandFile() or return;
2788
2789     my @options = (
2790         '-p %ld',
2791         '-e %ld',
2792         '-g',
2793         '-lines',
2794         '-cf "' . toWindowsPath($commandFile) . '"',
2795     );
2796
2797     my %values = (
2798         Debugger => '"' . toWindowsPath($ntsdPath) . '" ' . join(' ', @options),
2799         Auto => 1
2800     );
2801
2802     foreach my $value (keys %values) {
2803         $previousWindowsPostMortemDebuggerValues{$value} = readRegistryString("$windowsPostMortemDebuggerKey/$value");
2804         next if writeRegistryString("$windowsPostMortemDebuggerKey/$value", $values{$value});
2805
2806         print "Failed to set \"$windowsPostMortemDebuggerKey/$value\". Crash logs will not be saved.\nSee <http://trac.webkit.org/wiki/BuildingOnWindows#GettingCrashLogs>.\n";
2807         return;
2808     }
2809
2810     print "Crash logs will be saved to $testResultsDirectory.\n";
2811 }
2812
2813 END {
2814     return unless isCygwin();
2815
2816     foreach my $value (keys %previousWindowsPostMortemDebuggerValues) {
2817         next if writeRegistryString("$windowsPostMortemDebuggerKey/$value", $previousWindowsPostMortemDebuggerValues{$value});
2818         print "Failed to restore \"$windowsPostMortemDebuggerKey/$value\" to its previous value \"$previousWindowsPostMortemDebuggerValues{$value}\"\n.";
2819     }
2820 }