WebKitTools/Scripts/run-javascriptcore-tests

   1 #!/usr/bin/perl -w
   2
   3 # Copyright (C) 2005 Apple Computer, Inc.  All rights reserved.
   4 # Copyright (C) 2007 Eric Seidel <eric@webkit.org>
   5 #
   6 # Redistribution and use in source and binary forms, with or without
   7 # modification, are permitted provided that the following conditions
   8 # are met:
   9 #
  10 # 1.  Redistributions of source code must retain the above copyright
  11 #     notice, this list of conditions and the following disclaimer.
  12 # 2.  Redistributions in binary form must reproduce the above copyright
  13 #     notice, this list of conditions and the following disclaimer in the
  14 #     documentation and/or other materials provided with the distribution.
  15 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
  16 #     its contributors may be used to endorse or promote products derived
  17 #     from this software without specific prior written permission.
  18 #
  19 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
  20 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  21 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  22 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
  23 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  24 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  25 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  26 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  27 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  28 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  29
  30 # Script to run the Web Kit Open Source Project JavaScriptCore tests (adapted from Mozilla).
  31
  32 use strict;
  33 use FindBin;
  34 use Getopt::Long qw(:config pass_through);
  35 use lib $FindBin::Bin;
  36 use webkitdirs;
  37 use POSIX;
  38
  39 my $coverageSupport = 0;
  40 GetOptions('coverage!' => \$coverageSupport);
  41
  42 my @coverageSupportOption = ();
  43 if ($coverageSupport) {
  44     push @coverageSupportOption, "GCC_GENERATE_TEST_COVERAGE_FILES=YES";
  45     push @coverageSupportOption, "GCC_INSTRUMENT_PROGRAM_FLOW_ARCS=YES";
  46     push @coverageSupportOption, "EXTRA_LINK= -ftest-coverage -fprofile-arcs";
  47     push @coverageSupportOption, "OTHER_CFLAGS= -MD";
  48     push @coverageSupportOption, "OTHER_LDFLAGS= -ftest-coverage -fprofile-arcs -framework AppKit";
  49 }
  50
  51 # determine configuration
  52 my $configuration;
  53 setConfiguration();
  54 $configuration = configuration();
  55
  56 my @jsArgs;
  57 my @xcodeArgs;
  58 my $root;
  59
  60 # pre-evaluate arguments.  jsDriver args have - preceding, xcode args do not.
  61 # special arguments
  62 #     --root=<path to webkit root> use pre-built root
  63 #     --gtk build gtk
  64 foreach my $arg(@ARGV) {
  65     print $arg."\n";
  66     if( $arg =~ /root=(.*)/ ){
  67         $root = $1;
  68     } elsif( $arg =~ /^--gtk$/i || $arg =~ /^--qt$/i ){
  69     } elsif( $arg =~ /^-/ or !($arg =~/=/)){
  70         push( @jsArgs, $arg );
  71     } else {
  72         push( @xcodeArgs, $arg );
  73     }
  74 }
  75
  76 setConfigurationProductDir(Cwd::abs_path($root)) if (defined($root));
  77
  78 if(!defined($root)){
  79     chdirWebKit();
  80     my @args;
  81     push(@args, "--" . $configuration);
  82
  83     # FIXME: These should be stored per-config and ignored here
  84     push(@xcodeArgs, "--qt")  if isQt();
  85     push(@xcodeArgs, "--gtk")  if isGtk();
  86
  87     my $buildResult = system "WebKitTools/Scripts/build-testkjs", @xcodeArgs;
  88     if ($buildResult) {
  89         print STDERR "Compiling testkjs failed!\n";
  90         exit WEXITSTATUS($buildResult);
  91     }
  92 }
  93
  94 # Find JavaScriptCore directory
  95 chdirWebKit();
  96 chdir("JavaScriptCore");
  97
  98 my $productDir = productDir();
  99 chdir "tests/mozilla" or die;
 100
 101 $productDir .= "/JavaScriptCore" if (isQt() or isGtk());
 102 $ENV{DYLD_FRAMEWORK_PATH} = $productDir;
 103 setPathForRunningWebKitApp(\%ENV) if isCygwin();
 104
 105 sub testKJSPath($)
 106 {
 107     my ($productDir) = @_;
 108     my $testkjsName = "testkjs";
 109     $testkjsName .= "_debug"  if (isCygwin() && ($configuration eq "Debug"));
 110     return "$productDir/$testkjsName";
 111 }
 112
 113 my $result = system "perl", "jsDriver.pl", "-e", "kjs", "-s", testKJSPath($productDir), "-f", "actual.html", @jsArgs;
 114 exit WEXITSTATUS($result)  if $result;
 115
 116 my %failures;
 117
 118 open EXPECTED, "expected.html" or die;
 119 while (<EXPECTED>) {
 120     last if /failures reported\.$/;
 121 }
 122 while (<EXPECTED>) {
 123     chomp;
 124     $failures{$_} = 1;
 125 }
 126 close EXPECTED;
 127
 128 my %newFailures;
 129
 130 open ACTUAL, "actual.html" or die;
 131 while (<ACTUAL>) {
 132     last if /failures reported\.$/;
 133 }
 134 while (<ACTUAL>) {
 135     chomp;
 136     if ($failures{$_}) {
 137         delete $failures{$_};
 138     } else {
 139         $newFailures{$_} = 1;
 140     }
 141 }
 142 close ACTUAL;
 143
 144 my $numNewFailures = keys %newFailures;
 145 if ($numNewFailures) {
 146     print "\n** Danger, Will Robinson! Danger! The following failures have been introduced:\n";
 147     foreach my $failure (sort keys %newFailures) {
 148         print "\t$failure\n";
 149     }
 150 }
 151
 152 my $numOldFailures = keys %failures;
 153 if ($numOldFailures) {
 154     print "\nYou fixed the following test";
 155     print "s" if $numOldFailures != 1;
 156     print ":\n";
 157     foreach my $failure (sort keys %failures) {
 158         print "\t$failure\n";
 159     }
 160 }
 161
 162 print "\n";
 163
 164 print "$numNewFailures regression";
 165 print "s" if $numNewFailures != 1;
 166 print " found.\n";
 167
 168 print "$numOldFailures test";
 169 print "s" if $numOldFailures != 1;
 170 print " fixed.\n";
 171
 172 print "OK.\n" if $numNewFailures == 0;