WebKitTools/Scripts/run-javascriptcore-tests

   1 #!/usr/bin/perl -w
   2
   3 # Copyright (C) 2005 Apple Computer, Inc.  All rights reserved.
   4 #
   5 # Redistribution and use in source and binary forms, with or without
   6 # modification, are permitted provided that the following conditions
   7 # are met:
   8 #
   9 # 1.  Redistributions of source code must retain the above copyright
  10 #     notice, this list of conditions and the following disclaimer.
  11 # 2.  Redistributions in binary form must reproduce the above copyright
  12 #     notice, this list of conditions and the following disclaimer in the
  13 #     documentation and/or other materials provided with the distribution.
  14 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
  15 #     its contributors may be used to endorse or promote products derived
  16 #     from this software without specific prior written permission.
  17 #
  18 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
  19 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  20 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  21 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
  22 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  23 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  24 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  25 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  27 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  28
  29 # Script to run the Web Kit Open Source Project JavaScriptCore tests (adapted from Mozilla).
  30
  31 use strict;
  32 use FindBin;
  33 use lib $FindBin::Bin;
  34 use webkitdirs;
  35 use POSIX;
  36
  37 # determine configuration
  38 my $configuration;
  39 setConfiguration();
  40 $configuration = configuration();
  41
  42 my @jsArgs;
  43 my @xcodeArgs;
  44
  45 # pre-evaluate arguments.  jsDriver args have - preceding, xcode args do not.
  46 foreach my $arg(@ARGV) {
  47     print $arg."\n";
  48     if( $arg =~ /^-/ ){
  49         push( @jsArgs, $arg );
  50     } else {
  51         push( @xcodeArgs, $arg );
  52
  53     }
  54 }
  55
  56 # Find JavaScriptCore directory
  57 chdirWebKit();
  58 chdir("JavaScriptCore");
  59
  60 #compile TestKJS
  61 my @options = XcodeOptions();
  62 my $result;
  63 if (isOSX()) {
  64     $result = system "xcodebuild", "-project", "JavaScriptCore.xcodeproj", "-target", "testkjs", @options, @xcodeArgs;
  65 }elsif (isCygwin()) {
  66     $result = buildVisualStudioProject( "JavaScriptCore" );
  67 }
  68 exit WEXITSTATUS($result) if WEXITSTATUS($result);
  69
  70 my $productDir = productDir();
  71 chdir "tests/mozilla" or die;
  72
  73 $productDir .= "/JavaScriptCore" if (isQt());
  74 $ENV{DYLD_FRAMEWORK_PATH} = $productDir;
  75
  76 my $testkjsName;
  77 sub determineTestkjsName
  78 {
  79     return if $testkjsName;
  80     if (isCygwin() && ($configuration eq "Debug")) {
  81         $testkjsName = "testkjs_debug";
  82     } else {
  83         $testkjsName = "testkjs";
  84     }
  85 }
  86 $testkjsName = determineTestkjsName();
  87
  88 $result = system "perl", "jsDriver.pl", "-e", "kjs", "-s", "$productDir/$testkjsName", "-f", "actual.html", @jsArgs;
  89
  90 exit $result if $result;
  91
  92 my %failures;
  93
  94 open EXPECTED, "expected.html" or die;
  95 while (<EXPECTED>) {
  96     last if /failures reported\.$/;
  97 }
  98 while (<EXPECTED>) {
  99     chomp;
 100     $failures{$_} = 1;
 101 }
 102 close EXPECTED;
 103
 104 my %newFailures;
 105
 106 open ACTUAL, "actual.html" or die;
 107 while (<ACTUAL>) {
 108     last if /failures reported\.$/;
 109 }
 110 while (<ACTUAL>) {
 111     chomp;
 112     if ($failures{$_}) {
 113         delete $failures{$_};
 114     } else {
 115         $newFailures{$_} = 1;
 116     }
 117 }
 118 close ACTUAL;
 119
 120 my $numNewFailures = keys %newFailures;
 121 if ($numNewFailures) {
 122     print "\n** Danger, Will Robinson! Danger! The following failures have been introduced:\n";
 123     foreach my $failure (sort keys %newFailures) {
 124         print "\t$failure\n";
 125     }
 126 }
 127
 128 my $numOldFailures = keys %failures;
 129 if ($numOldFailures) {
 130     print "\nYou fixed the following test";
 131     print "s" if $numOldFailures != 1;
 132     print ":\n";
 133     foreach my $failure (sort keys %failures) {
 134         print "\t$failure\n";
 135     }
 136 }
 137
 138 print "\n";
 139
 140 print "$numNewFailures regression";
 141 print "s" if $numNewFailures != 1;
 142 print " found.\n";
 143
 144 print "$numOldFailures test";
 145 print "s" if $numOldFailures != 1;
 146 print " fixed.\n";
 147
 148 print "OK.\n" if $numNewFailures == 0;