Bug #: none
[WebKit-https.git] / WebKitTools / Scripts / check-dom-results
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005 Apple Computer, Inc.  All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 #
9 # 1.  Redistributions of source code must retain the above copyright
10 #     notice, this list of conditions and the following disclaimer. 
11 # 2.  Redistributions in binary form must reproduce the above copyright
12 #     notice, this list of conditions and the following disclaimer in the
13 #     documentation and/or other materials provided with the distribution. 
14 # 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
15 #     its contributors may be used to endorse or promote products derived
16 #     from this software without specific prior written permission. 
17 #
18 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 # Script to check status of W3C DOM tests that are part of the WebKit tests.
30
31 use strict;
32 use FindBin;
33 use Cwd;
34 use lib $FindBin::Bin;
35 use webkitdirs;
36
37 chdirWebKit();
38
39 my $verbose = $ARGV[0] && $ARGV[0] eq "-v";
40
41 my $workingDir = getcwd();
42 my $testDirectory = "$workingDir/LayoutTests";
43
44 my @suites = ( {"name" => "DOM Level 1 Core   (html)", "directory" => "dom/html/level1/core"},
45                {"name" => "DOM Level 2 Core   (html)", "directory" => "dom/html/level2/core"},
46                {"name" => "DOM Level 2 Events (html)", "directory" => "dom/html/level2/events"},
47                {"name" => "DOM Level 2 HTML   (html)", "directory" => "dom/html/level2/html"},
48                {"name" => "DOM Level 1 Core   (xhtml)", "directory" => "dom/xhtml/level1/core"},
49                {"name" => "DOM Level 2 Core   (xhtml)", "directory" => "dom/xhtml/level2/core"},
50                {"name" => "DOM Level 2 Events (xhtml)", "directory" => "dom/xhtml/level2/events"},
51                {"name" => "DOM Level 2 HTML   (xhtml)", "directory" => "dom/xhtml/level2/html"},
52                {"name" => "DOM Level 3 Core   (xhtml)", "directory" => "dom/xhtml/level3/core"});
53
54 my $totalCount = 0;
55 my $totalSuccesses = 0;
56 my $totalDisabled = 0;
57 my $totalFailed = 0;
58
59 foreach my $suite (@suites) {
60
61     my %suite = %$suite;
62     my $directory = $suite{"directory"};
63     my $name = $suite{"name"};
64     my @results = `find "${testDirectory}/${directory}" -name "*-expected.txt"`;
65     my @disabled = `find "${testDirectory}/${directory}" -name "*-disabled"`;
66
67     my @failures = ();
68     my $count = 0;
69
70     foreach my $result (@results) {
71         $count++;
72         my $success = 0;
73         open RESULT, "<$result";
74         while (<RESULT>) {
75             if (/Success/) {
76                 $success = 1;
77                 last;
78             }
79         }
80         close RESULT;
81         if (!$success) {
82             push @failures, $result;
83         }
84     }
85
86     my $disabledCount = (scalar @disabled);
87     my $failureCount = (scalar @failures);
88
89     $count += $disabledCount;
90
91     my $successCount = $count - $failureCount - $disabledCount;
92     my $percentage = (sprintf "%.1f", ($successCount * 100.0 / $count));
93     
94     if ($percentage == 100) {
95         print "${name}: all ${count} tests succeeded";
96     } else {
97         print "${name}: ${successCount} out of ${count} tests succeeded (${percentage}%)";
98     }
99     print " ($disabledCount disabled)" if $disabledCount;
100     print "\n";
101     if ($verbose) {
102         print "\n";
103         if (@disabled) {
104             print "    Disabled:\n";
105             
106             foreach my $failure (sort @disabled) {
107                 $failure =~ s|.*/||;
108                 $failure =~ s|-disabled||;
109                 print "        ${directory}/${failure}";
110             }
111         }
112         if (@failures) {
113             print "    Failed:\n";
114             
115             foreach my $failure (sort @failures) {
116                 $failure =~ s|.*/||;
117                 $failure =~ s|-expected\.txt|.html|;
118                 print "        ${directory}/${failure}";
119             }
120         }
121
122         print "\n";
123     }
124
125     $totalCount += $count;
126     $totalSuccesses += $successCount;
127     $totalDisabled += $disabledCount;
128     $totalFailed += $failureCount;
129 }
130
131
132 my $totalPercentage = (sprintf "%.1f", ($totalSuccesses * 100.0 / $totalCount));
133 my $totalDisabledPercentage = (sprintf "%.1f", ($totalDisabled * 100.0 / $totalCount));
134 my $totalFailedPercentage = (sprintf "%.1f", ($totalFailed * 100.0 / $totalCount));
135
136 print "Total: ${totalSuccesses} out of ${totalCount} tests succeeded (${totalPercentage}%)\n";
137 print "       ${totalDisabled} tests disabled (${totalDisabledPercentage}%)\n";
138 print "       ${totalFailed} tests failed (${totalFailedPercentage}%)\n";