Update webkit-webgl-test-harness.js to provide more info on failing and partially...
authorcommit-queue@webkit.org <commit-queue@webkit.org@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Mon, 20 Aug 2018 19:29:11 +0000 (19:29 +0000)
committercommit-queue@webkit.org <commit-queue@webkit.org@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Mon, 20 Aug 2018 19:29:11 +0000 (19:29 +0000)
https://bugs.webkit.org/show_bug.cgi?id=188628

Patch by Justin Fan <justin_fan@apple.com> on 2018-08-20
Reviewed by Alexey Proskuryakov.

Slightly augment the test-harness for the WebGL 2 conformance suite; failing test results now report
failure messagees and the number of individual reported failures and passes from the wrapped Khronos test.
Allow us to track when incremental conformance improvements or regressions occur within the breadth of a
single conformance test.

* webgl/2.0.0/conformance2/glsl3/attrib-location-length-limits-expected.txt:
* webgl/2.0.0/conformance2/glsl3/shader-linking-expected.txt:
* webgl/2.0.0/conformance2/glsl3/shader-with-1024-character-define-expected.txt:
* webgl/2.0.0/conformance2/glsl3/shader-with-1024-character-identifier.frag-expected.txt:
* webgl/2.0.0/conformance2/glsl3/shader-with-invalid-characters-expected.txt:
* webgl/2.0.0/conformance2/glsl3/shader-with-mis-matching-uniform-block-expected.txt:
* webgl/2.0.0/conformance2/glsl3/unary-minus-operator-in-dynamic-loop-expected.txt:
* webgl/2.0.0/conformance2/glsl3/uniform-location-length-limits-expected.txt:
* webgl/2.0.0/conformance2/glsl3/valid-invariant-expected.txt:
* webgl/2.0.0/resources/webkit-webgl-test-harness.js:
(window.webglTestHarness.reportResults):
(window.webglTestHarness.notifyFinished):

git-svn-id: https://svn.webkit.org/repository/webkit/trunk@235090 268f45cc-cd09-0410-ab3c-d52691b4dbfc

LayoutTests/ChangeLog
LayoutTests/webgl/2.0.0/conformance2/glsl3/attrib-location-length-limits-expected.txt
LayoutTests/webgl/2.0.0/conformance2/glsl3/shader-linking-expected.txt
LayoutTests/webgl/2.0.0/conformance2/glsl3/shader-with-1024-character-define-expected.txt
LayoutTests/webgl/2.0.0/conformance2/glsl3/shader-with-1024-character-identifier.frag-expected.txt
LayoutTests/webgl/2.0.0/conformance2/glsl3/shader-with-invalid-characters-expected.txt
LayoutTests/webgl/2.0.0/conformance2/glsl3/shader-with-mis-matching-uniform-block-expected.txt
LayoutTests/webgl/2.0.0/conformance2/glsl3/unary-minus-operator-in-dynamic-loop-expected.txt
LayoutTests/webgl/2.0.0/conformance2/glsl3/uniform-location-length-limits-expected.txt
LayoutTests/webgl/2.0.0/conformance2/glsl3/valid-invariant-expected.txt
LayoutTests/webgl/2.0.0/resources/webkit-webgl-test-harness.js

index 98fc6f0..924066c 100644 (file)
@@ -1,3 +1,28 @@
+2018-08-20  Justin Fan  <justin_fan@apple.com>
+
+        Update webkit-webgl-test-harness.js to provide more info on failing and partially passing tests
+        https://bugs.webkit.org/show_bug.cgi?id=188628
+
+        Reviewed by Alexey Proskuryakov.
+
+        Slightly augment the test-harness for the WebGL 2 conformance suite; failing test results now report
+        failure messagees and the number of individual reported failures and passes from the wrapped Khronos test. 
+        Allow us to track when incremental conformance improvements or regressions occur within the breadth of a 
+        single conformance test. 
+
+        * webgl/2.0.0/conformance2/glsl3/attrib-location-length-limits-expected.txt:
+        * webgl/2.0.0/conformance2/glsl3/shader-linking-expected.txt:
+        * webgl/2.0.0/conformance2/glsl3/shader-with-1024-character-define-expected.txt:
+        * webgl/2.0.0/conformance2/glsl3/shader-with-1024-character-identifier.frag-expected.txt:
+        * webgl/2.0.0/conformance2/glsl3/shader-with-invalid-characters-expected.txt:
+        * webgl/2.0.0/conformance2/glsl3/shader-with-mis-matching-uniform-block-expected.txt:
+        * webgl/2.0.0/conformance2/glsl3/unary-minus-operator-in-dynamic-loop-expected.txt:
+        * webgl/2.0.0/conformance2/glsl3/uniform-location-length-limits-expected.txt:
+        * webgl/2.0.0/conformance2/glsl3/valid-invariant-expected.txt:
+        * webgl/2.0.0/resources/webkit-webgl-test-harness.js:
+        (window.webglTestHarness.reportResults):
+        (window.webglTestHarness.notifyFinished):
+
 2018-08-20  Eric Carlson  <eric.carlson@apple.com>
 
         [MediaStream] Move capture device monitoring to WebKit
index ffea9ae..def837f 100644 (file)
@@ -1,5 +1,10 @@
 This test runs the WebGL Test listed below in an iframe and reports PASS or FAIL.
 
 Test: ../../resources/webgl_test_files/conformance2/glsl3/attrib-location-length-limits.html
+getError expected: NO_ERROR. Was INVALID_VALUE :
+attrib location was -1, should not be
+getError expected: NO_ERROR. Was INVALID_VALUE :
+3 failures reported
+7 passes reported
 FAIL
 
index 359eb71..a0962d8 100644 (file)
@@ -1,5 +1,9 @@
 This test runs the WebGL Test listed below in an iframe and reports PASS or FAIL.
 
 Test: ../../resources/webgl_test_files/conformance2/glsl3/shader-linking.html
+[unexpected link status] OpenGL ES Shading Language 3.00 vertex shader should not link with OpenGL ES Shading Language 1.00 fragment shader.
+[unexpected link status] OpenGL ES Shading Language 1.00 vertex shader should not link with OpenGL ES Shading Language 3.00 fragment shader.
+2 failures reported
+2 passes reported
 FAIL
 
index efbe81e..2648d2b 100644 (file)
@@ -1,5 +1,9 @@
 This test runs the WebGL Test listed below in an iframe and reports PASS or FAIL.
 
 Test: ../../resources/webgl_test_files/conformance2/glsl3/shader-with-1024-character-define.html
+[unexpected vertex shader compile status] (expected: true) vertex shader that uses 1024 character token in #define should succeed
+[link failed] vertex shader that uses 1024 character token in #define should succeed
+2 failures reported
+1 passes reported
 FAIL
 
index 58a80c8..b4cf546 100644 (file)
@@ -1,5 +1,12 @@
 This test runs the WebGL Test listed below in an iframe and reports PASS or FAIL.
 
 Test: ../../resources/webgl_test_files/conformance2/glsl3/shader-with-1024-character-identifier.frag.html
+[unexpected fragment shader compile status] (expected: true) shader with 1024 character identifier should succeed
+[unexpected fragment shader compile status] (expected: true) shader with 1024 character identifier that starts with underscore should succeed
+[unexpected fragment shader compile status] (expected: true) shader with 1024 character identifier that ends with underscore should succeed
+[unexpected fragment shader compile status] (expected: true) shader with 1024 character identifier with odd characters as underscores should succeed
+[unexpected fragment shader compile status] (expected: true) shader with 1024 character identifier with even characters as underscores should succeed
+5 failures reported
+1 passes reported
 FAIL
 
index f055dc7..b291b4b 100644 (file)
@@ -1,5 +1,9 @@
 This test runs the WebGL Test listed below in an iframe and reports PASS or FAIL.
 
 Test: ../../resources/webgl_test_files/conformance2/glsl3/shader-with-invalid-characters.html
+[unexpected vertex shader compile status] (expected: true) vertex shader that uses backlash character in comments should succeed
+[link failed] vertex shader that uses backlash character in comments should succeed
+2 failures reported
+1 passes reported
 FAIL
 
index d7f18ab..7b9dc54 100644 (file)
@@ -1,5 +1,8 @@
 This test runs the WebGL Test listed below in an iframe and reports PASS or FAIL.
 
 Test: ../../resources/webgl_test_files/conformance2/glsl3/shader-with-mis-matching-uniform-block.html
+[unexpected link status] Shaders with precision mis-matching uniform blocks should fail
+1 failures reported
+1 passes reported
 FAIL
 
index ff4176f..f8ca505 100644 (file)
@@ -1,5 +1,10 @@
 This test runs the WebGL Test listed below in an iframe and reports PASS or FAIL.
 
 Test: ../../resources/webgl_test_files/conformance2/glsl3/unary-minus-operator-in-dynamic-loop.html
+square should be green at (138, 0) expected: 0,255,0,255 was 255,0,0,255
+square should be green at (414, 0) expected: 0,255,0,255 was 255,0,0,255
+square should be green at (690, 0) expected: 0,255,0,255 was 255,0,0,255
+3 failures reported
+4 passes reported
 FAIL
 
index c8885e4..ea06e29 100644 (file)
@@ -1,5 +1,9 @@
 This test runs the WebGL Test listed below in an iframe and reports PASS or FAIL.
 
 Test: ../../resources/webgl_test_files/conformance2/glsl3/uniform-location-length-limits.html
+uniformLoc should be non-null. Was null
+getError expected: NO_ERROR. Was INVALID_VALUE :
+2 failures reported
+6 passes reported
 FAIL
 
index a7ea065..a1cf1e4 100644 (file)
@@ -1,5 +1,10 @@
 This test runs the WebGL Test listed below in an iframe and reports PASS or FAIL.
 
 Test: ../../resources/webgl_test_files/conformance2/glsl3/valid-invariant.html
+[unexpected link status] vertex shader with invariant varying and fragment shader with variant varying must succeed
+[unexpected link status] vertex shader with invariant (global setting) varying and fragment shader with variant varying must succeed
+[unexpected link status] vertex shader with invariant (separately set) varying and fragment shader with variant varying must succeed
+3 failures reported
+1 passes reported
 FAIL
 
index b766c8a..714a06a 100644 (file)
@@ -1,5 +1,6 @@
 "use strict";
 (function() {
+  var numSuccesses = 0;
   var numFailures = 0;
 
   if (window.testRunner && !window.layoutTestController) {
 
   window.webglTestHarness = {
     reportResults: function(url, success, msg) {
-      if (!success) {
+      if (success) {
+        ++numSuccesses;
+      } else {
+        log(msg, "red");
         ++numFailures;
       }
     },
     notifyFinished: function(url) {
       var iframe = document.getElementById("iframe");
       if (numFailures > 0) {
+        if (numSuccesses > 0) {
+          log(numFailures + " failures reported", "red");
+          log(numSuccesses + " passes reported", "green");
+        }
         log("FAIL", "red");
       } else {
         log("PASS", "green");