Make failing WebGL tests produce debug output
authordino@apple.com <dino@apple.com@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Wed, 18 Oct 2017 22:01:49 +0000 (22:01 +0000)
committerdino@apple.com <dino@apple.com@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Wed, 18 Oct 2017 22:01:49 +0000 (22:01 +0000)
https://bugs.webkit.org/show_bug.cgi?id=178421

Reviewed by Jon Lee.

If a WebGL conformance test fails, we just get the word "FAIL". Instead,
have it log the actual output of the test, so we can see what happens
on bots.

Drive-by fix where I noticed a test file was missing, that causes
two tests to timeout. They may still timeout, but now because they
take a long time to run rather than they have a JS error.

* platform/mac/TestExpectations:
* webgl/1.0.2/resources/webgl_test_files/conformance/resources/iterable-test.js: Added.
* webgl/1.0.2/resources/webkit-webgl-test-harness.js:
(window.webglTestHarness.notifyFinished):
* webgl/resources/webkit-webgl-test-harness.js:
(window.webglTestHarness.notifyFinished):

git-svn-id: https://svn.webkit.org/repository/webkit/trunk@223632 268f45cc-cd09-0410-ab3c-d52691b4dbfc

LayoutTests/ChangeLog
LayoutTests/platform/mac/TestExpectations
LayoutTests/webgl/1.0.2/resources/webgl_test_files/conformance/resources/iterable-test.js [new file with mode: 0644]
LayoutTests/webgl/1.0.2/resources/webkit-webgl-test-harness.js
LayoutTests/webgl/resources/webkit-webgl-test-harness.js

index c20f6bb..72fadde 100644 (file)
@@ -1,3 +1,25 @@
+2017-10-17  Dean Jackson  <dino@apple.com>
+
+        Make failing WebGL tests produce debug output
+        https://bugs.webkit.org/show_bug.cgi?id=178421
+
+        Reviewed by Jon Lee.
+
+        If a WebGL conformance test fails, we just get the word "FAIL". Instead,
+        have it log the actual output of the test, so we can see what happens
+        on bots.
+
+        Drive-by fix where I noticed a test file was missing, that causes
+        two tests to timeout. They may still timeout, but now because they
+        take a long time to run rather than they have a JS error.
+
+        * platform/mac/TestExpectations:
+        * webgl/1.0.2/resources/webgl_test_files/conformance/resources/iterable-test.js: Added.
+        * webgl/1.0.2/resources/webkit-webgl-test-harness.js:
+        (window.webglTestHarness.notifyFinished):
+        * webgl/resources/webkit-webgl-test-harness.js:
+        (window.webglTestHarness.notifyFinished):
+
 2017-10-18  Eric Carlson  <eric.carlson@apple.com>
 
         Key events should not update Document.lastHandledUserGestureTimestamp unless key event is handled
index 46e59dd..6248990 100644 (file)
@@ -395,8 +395,8 @@ editing/pasteboard/paste-global-selection.html
 
 # Unexpected WebGL Conformance tests that need to be fixed
 # These tests pass when run through webgl-conformance-tests.html but not when just opened via a browser (or via run-webkit-tests)
-webgl/1.0.2/conformance/context/context-creation-and-destruction.html [ Failure Timeout ]
-webgl/1.0.2/conformance/rendering/multisample-corruption.html [ Pass Failure Timeout ]
+webgl/1.0.2/conformance/context/context-creation-and-destruction.html [ Pass Timeout ]
+webgl/1.0.2/conformance/rendering/multisample-corruption.html [ Pass Timeout ]
 http/tests/webgl/1.0.2/origin-clean-conformance.html [ Skip ]
 
 webkit.org/b/124935 [ Debug ] webgl/1.0.2/conformance/glsl/misc/shader-with-non-reserved-words.html [ Slow ]
diff --git a/LayoutTests/webgl/1.0.2/resources/webgl_test_files/conformance/resources/iterable-test.js b/LayoutTests/webgl/1.0.2/resources/webgl_test_files/conformance/resources/iterable-test.js
new file mode 100644 (file)
index 0000000..7829896
--- /dev/null
@@ -0,0 +1,147 @@
+/*
+** Copyright (c) 2013 The Khronos Group Inc.
+**
+** Permission is hereby granted, free of charge, to any person obtaining a
+** copy of this software and/or associated documentation files (the
+** "Materials"), to deal in the Materials without restriction, including
+** without limitation the rights to use, copy, modify, merge, publish,
+** distribute, sublicense, and/or sell copies of the Materials, and to
+** permit persons to whom the Materials are furnished to do so, subject to
+** the following conditions:
+**
+** The above copyright notice and this permission notice shall be included
+** in all copies or substantial portions of the Materials.
+**
+** THE MATERIALS ARE PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND,
+** EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF
+** MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.
+** IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY
+** CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT,
+** TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE
+** MATERIALS OR THE USE OR OTHER DEALINGS IN THE MATERIALS.
+*/
+IterableTest = (function() {
+
+  var wtu = WebGLTestUtils;
+
+  function run(test, iterations) {
+    var target = iterations || 10;
+    var count = 0;
+
+    function doNextTest() {
+      ++count;
+      debug("Test " + count + " of " + target);
+      var success = test();
+      if (count < target && success !== false) {
+        wtu.waitForComposite(null, doNextTest);
+        //setTimeout(doNextTest, 100);
+      } else {
+        finishTest();
+      }
+    }
+
+    doNextTest();
+  }
+
+  // Creates a canvas and a texture then exits. There are
+  // no references to either so both should be garbage collected.
+  function createContextCreationAndDestructionTest() {
+    var textureSize = null;
+
+    return function() {
+      var canvas = document.createElement("canvas");
+      // This is safe for any device. See drawingBufferWidth in spec.
+      canvas.width = 2048;
+      canvas.height = 2048;
+      var gl = wtu.create3DContext(canvas);
+      if (textureSize === null) {
+        var maxTextureSize = gl.getParameter(gl.MAX_TEXTURE_SIZE);
+        textureSize = Math.min(1024, maxTextureSize);
+      }
+      var tex = gl.createTexture();
+      gl.bindTexture(gl.TEXTURE_2D, tex);
+      gl.texImage2D(gl.TEXTURE_2D, 0, gl.RGBA, textureSize, textureSize, 0, gl.RGBA, gl.UNSIGNED_BYTE,
+                    null);
+      gl.clear(gl.COLOR_BUFFER_BIT);
+      wtu.glErrorShouldBe(gl, gl.NO_ERROR, "Should be no errors");
+
+      return true;
+    };
+  }
+
+  // Draws rectangle on a passed canvas with preserveDrawingBuffer
+  // and antialiasing ON, tests rect color on every iteration.
+  function createMultisampleCorruptionTest(gl) {
+    var lastContext = null;
+    // Allocate a read back buffer in advance and reuse it for all iterations
+    // to avoid memory issues because of late garbage collection.
+    var readBackBuf = new Uint8Array(gl.canvas.width * gl.canvas.height * 4);
+
+    var program = wtu.loadStandardProgram(gl);
+    var uniforms = wtu.getUniformMap(gl, program);
+    gl.useProgram(program);
+
+    gl.clearColor(1.0, 0.0, 0.0, 1.0);
+    gl.clear(gl.COLOR_BUFFER_BIT);
+
+    var vertexObject = gl.createBuffer();
+    gl.bindBuffer(gl.ARRAY_BUFFER, vertexObject);
+    gl.bufferData(gl.ARRAY_BUFFER, new Float32Array([ 0,2.5,0, 1.5,1.5,0, 2.5,1.5,0 ]), gl.STATIC_DRAW);
+    gl.enableVertexAttribArray(0);
+    gl.vertexAttribPointer(0, 3, gl.FLOAT, false, 0, 0);
+    gl.vertexAttrib3f(1, 0.0, 0.0, 1.0);
+
+    var identityMat = new Float32Array([
+      1, 0, 0, 0,
+      0, 1, 0, 0,
+      0, 0, 1, 0,
+      0, 0, 0, 1
+    ]);
+
+    gl.uniformMatrix4fv(uniforms.u_modelViewProjMatrix.location, false, identityMat);
+
+    function test() {
+      var gl2 = wtu.create3DContext(null, {antialias: true});
+
+      gl2.canvas.width = gl2.canvas.height = 1024;
+      gl2.canvas.style.width = gl2.canvas.style.height = "1px";
+      document.body.appendChild(gl2.canvas);
+
+      gl2.clearColor(1.0, 0.0, 0.0, 1.0);
+      gl2.clear(gl2.COLOR_BUFFER_BIT);
+
+      if(lastContext) {
+          gl.drawArrays(gl.TRIANGLES, 0, 3);
+          var msg = "Canvas should be red";
+          wtu.checkCanvasRectColor(gl,
+              0, 0, gl.canvas.width, gl.canvas.height,
+              [255, 0, 0, 255], null,
+              function() {
+                  testPassed(msg);
+              },
+              function() {
+                  testFailed(msg);
+                  return false;
+              },
+          debug, readBackBuf);
+          document.body.removeChild(lastContext.canvas);
+      }
+
+      lastContext = gl2;
+      return true;
+    };
+
+    // First pass does initialization
+    test();
+
+    return test;
+  }
+
+  return {
+    run: run,
+
+    createContextCreationAndDestructionTest: createContextCreationAndDestructionTest,
+    createMultisampleCorruptionTest: createMultisampleCorruptionTest
+  };
+
+})();
index 08c91c2..b766c8a 100644 (file)
 
     notifyFinished: function(url) {
       var iframe = document.getElementById("iframe");
-      iframe.innerHTML = "";
       if (numFailures > 0) {
         log("FAIL", "red");
       } else {
         log("PASS", "green");
+        iframe.innerHTML = "";
       }
 
       if (window.layoutTestController) {
index 08c91c2..b766c8a 100644 (file)
 
     notifyFinished: function(url) {
       var iframe = document.getElementById("iframe");
-      iframe.innerHTML = "";
       if (numFailures > 0) {
         log("FAIL", "red");
       } else {
         log("PASS", "green");
+        iframe.innerHTML = "";
       }
 
       if (window.layoutTestController) {