test262/Runner.pm: create results dir for results of test262 run
authorcommit-queue@webkit.org <commit-queue@webkit.org@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Wed, 9 May 2018 00:04:10 +0000 (00:04 +0000)
committercommit-queue@webkit.org <commit-queue@webkit.org@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Wed, 9 May 2018 00:04:10 +0000 (00:04 +0000)
https://bugs.webkit.org/show_bug.cgi?id=185392

Patch by Valerie R Young <valerie@bocoup.com> on 2018-05-08
Reviewed by Michael Saboff.

.:

Remove reference to no longer existing files.

* .gitignore:

Tools:

New directory test262-results created from where ever script is
called.

* Scripts/test262/Runner.pm:
(processCLI):

git-svn-id: https://svn.webkit.org/repository/webkit/trunk@231526 268f45cc-cd09-0410-ab3c-d52691b4dbfc

.gitignore
ChangeLog
Tools/ChangeLog
Tools/Scripts/test262/Runner.pm

index 9e16334..e934031 100644 (file)
@@ -48,8 +48,3 @@ __cmake_systeminformation/
 
 # Ignore YouCompleteMe symlinks
 .ycm_extra_conf.py
-
-# Ignore generated Test262 results files
-Tools/Scripts/test262/results.yaml
-Tools/Scripts/test262/results-summary.yaml
-Tools/Scripts/test262/results-summary.txt
index a146e60..3418532 100644 (file)
--- a/ChangeLog
+++ b/ChangeLog
@@ -1,3 +1,14 @@
+2018-05-08  Valerie R Young  <valerie@bocoup.com>
+
+        test262/Runner.pm: create results dir for results of test262 run
+        https://bugs.webkit.org/show_bug.cgi?id=185392
+
+        Reviewed by Michael Saboff.
+
+        Remove reference to no longer existing files.
+
+        * .gitignore:
+
 2018-05-07  Yusuke Suzuki  <utatane.tea@gmail.com>
 
         [JSCOnly] Enable Intl.PluralRules
index 210b4fb..0611b28 100644 (file)
@@ -1,5 +1,18 @@
 2018-05-08  Valerie R Young  <valerie@bocoup.com>
 
+        test262/Runner.pm: create results dir for results of test262 run
+        https://bugs.webkit.org/show_bug.cgi?id=185392
+
+        Reviewed by Michael Saboff.
+
+        New directory test262-results created from where ever script is
+        called.
+
+        * Scripts/test262/Runner.pm:
+        (processCLI):
+
+2018-05-08  Valerie R Young  <valerie@bocoup.com>
+
         test262/Runner.pm: lower number of processes per core
         https://bugs.webkit.org/show_bug.cgi?id=185426
 
index a9b2b08..d79a3e0 100755 (executable)
@@ -36,6 +36,7 @@ use File::Find;
 use File::Temp qw(tempfile tempdir);
 use File::Spec::Functions qw(abs2rel);
 use File::Basename qw(dirname);
+use File::Path qw(mkpath);
 use Cwd qw(abs_path);
 use FindBin;
 use Env qw(DYLD_FRAMEWORK_PATH);
@@ -84,9 +85,15 @@ my $runningAllTests;
 
 my $expectationsFile = abs_path("$Bin/../../../JSTests/test262/expectations.yaml");
 my $configFile = abs_path("$Bin/../../../JSTests/test262/config.yaml");
-my $resultsFile = abs_path("$Bin/results.yaml");
-my $summaryTxtFile = abs_path("$Bin/results-summary.txt");
-my $summaryFile = abs_path("$Bin/results-summary.yaml");
+
+my $resultsDir = `pwd`;
+chomp $resultsDir;
+$resultsDir = $resultsDir . "/test262-results";
+mkpath($resultsDir);
+
+my $resultsFile = abs_path("$resultsDir/results.yaml");
+my $summaryTxtFile = abs_path("$resultsDir/summary.txt");
+my $summaryFile = abs_path("$resultsDir/summary.yaml");
 
 my @results;
 my @files;
@@ -106,6 +113,7 @@ sub processCLI {
     my $ignoreExpectations;
     my @features;
     my $stats;
+    my $specifiedResultsFile;
 
     # If adding a new commandline argument, you must update the POD
     # documentation at the end of the file.
@@ -125,6 +133,7 @@ sub processCLI {
         'failing-files' => \$failingOnly,
         'l|latest-import' => \$latestImport,
         'stats' => \$stats,
+        'r|results=s' => \$specifiedResultsFile,
     );
 
     if ($help) {
@@ -136,7 +145,22 @@ sub processCLI {
         }
     }
 
+    if ($specifiedResultsFile) {
+        if (!$stats) {
+            print "Waring: supplied results file not used for this command.\n";
+        }
+        elsif (-e $specifiedResultsFile) {
+            $resultsFile = $specifiedResultsFile;
+        }
+        else {
+            die "Error: results file $specifiedResultsFile does not exist.";
+        }
+    }
+
     if ($stats) {
+        if (! -e $resultsFile) {
+            die "Error: cannot find results file, please specify with --results.";
+        }
         summarizeResults();
         exit;
     }
@@ -182,7 +206,7 @@ sub processCLI {
         # If expectations file doesn't exist yet, just run tests, UNLESS
         # --failures-only option supplied.
         if ( $failingOnly && ! -e $expectationsFile ) {
-            print "Error: Cannot run failing tests if test262-expectation.yaml file does not exist.\n";
+            print "Error: Cannot run failing tests if expectation.yaml file does not exist.\n";
             die;
         } elsif (-e $expectationsFile) {
             $expect = LoadFile($expectationsFile) or die $!;
@@ -884,7 +908,11 @@ Runs the test files listed in the last import (./JSTests/test262/latest-changes-
 
 =item B<--stats>
 
-Calculate conformance statistics from JSTests/test262-results.yaml file. Saves results in JSTests/test262/results-summary.txt and JSTests/test262/results-summary.yaml.
+Calculate conformance statistics from results/results.yaml file or a supplied results file (--results). Saves results in results/summary.txt and results/summary.yaml.
+
+=item B<--results, -r>
+
+Specifies a results file the --stats option.
 
 =back