WebKitTools/Scripts/run-javascriptcore-tests

   1 #!/usr/bin/perl -w
   2
   3 # Copyright (C) 2005 Apple Computer, Inc.  All rights reserved.
   4 #
   5 # Redistribution and use in source and binary forms, with or without
   6 # modification, are permitted provided that the following conditions
   7 # are met:
   8 #
   9 # 1.  Redistributions of source code must retain the above copyright
  10 #     notice, this list of conditions and the following disclaimer.
  11 # 2.  Redistributions in binary form must reproduce the above copyright
  12 #     notice, this list of conditions and the following disclaimer in the
  13 #     documentation and/or other materials provided with the distribution.
  14 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
  15 #     its contributors may be used to endorse or promote products derived
  16 #     from this software without specific prior written permission.
  17 #
  18 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
  19 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  20 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  21 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
  22 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  23 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  24 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  25 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  27 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  28
  29 # Script to run the Web Kit Open Source Project JavaScriptCore tests (adapted from Mozilla).
  30
  31 use strict;
  32 use FindBin;
  33 use lib $FindBin::Bin;
  34 use webkitdirs;
  35 use POSIX;
  36
  37 # determine configuration
  38 my $configuration;
  39 setConfiguration();
  40 $configuration = configuration();
  41
  42 # Find JavaScriptCore directory
  43 chdirWebKit();
  44 chdir("JavaScriptCore");
  45
  46 #compile TestKJS
  47 my @options = XcodeOptions();
  48 my $result;
  49 if (isOSX()) {
  50     $result = system "xcodebuild", "-project", "JavaScriptCore.xcodeproj", "-target", "testkjs", @options, @ARGV;
  51 }elsif (isCygwin()) {
  52     $result = buildVisualStudioProject( "JavaScriptCore" );
  53 }
  54 exit WEXITSTATUS($result) if WEXITSTATUS($result);
  55
  56 my $productDir = productDir();
  57 chdir "tests/mozilla" or die;
  58
  59 $productDir .= "/JavaScriptCore" if (isQt());
  60 $ENV{DYLD_FRAMEWORK_PATH} = $productDir;
  61
  62 my $testkjsName;
  63 sub determineTestkjsName
  64 {
  65     return if $testkjsName;
  66     if (isCygwin() && ($configuration eq "Debug")) {
  67         $testkjsName = "testkjs_debug";
  68     } else {
  69         $testkjsName = "testkjs";
  70     }
  71 }
  72 $testkjsName = determineTestkjsName();
  73
  74 $result = system "perl", "jsDriver.pl", "-e", "kjs", "-s", "$productDir/$testkjsName", "-f", "actual.html", @ARGV;
  75
  76 exit $result if $result;
  77
  78 my %failures;
  79
  80 open EXPECTED, "expected.html" or die;
  81 while (<EXPECTED>) {
  82     last if /failures reported\.$/;
  83 }
  84 while (<EXPECTED>) {
  85     chomp;
  86     $failures{$_} = 1;
  87 }
  88 close EXPECTED;
  89
  90 my %newFailures;
  91
  92 open ACTUAL, "actual.html" or die;
  93 while (<ACTUAL>) {
  94     last if /failures reported\.$/;
  95 }
  96 while (<ACTUAL>) {
  97     chomp;
  98     if ($failures{$_}) {
  99         delete $failures{$_};
 100     } else {
 101         $newFailures{$_} = 1;
 102     }
 103 }
 104 close ACTUAL;
 105
 106 my $numNewFailures = keys %newFailures;
 107 if ($numNewFailures) {
 108     print "\n** Danger, Will Robinson! Danger! The following failures have been introduced:\n";
 109     foreach my $failure (sort keys %newFailures) {
 110         print "\t$failure\n";
 111     }
 112 }
 113
 114 my $numOldFailures = keys %failures;
 115 if ($numOldFailures) {
 116     print "\nYou fixed the following test";
 117     print "s" if $numOldFailures != 1;
 118     print ":\n";
 119     foreach my $failure (sort keys %failures) {
 120         print "\t$failure\n";
 121     }
 122 }
 123
 124 print "\n";
 125
 126 print "$numNewFailures regression";
 127 print "s" if $numNewFailures != 1;
 128 print " found.\n";
 129
 130 print "$numOldFailures test";
 131 print "s" if $numOldFailures != 1;
 132 print " fixed.\n";
 133
 134 print "OK.\n" if $numNewFailures == 0;