LayoutTests:
authoradele <adele@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Tue, 3 Jul 2007 23:16:02 +0000 (23:16 +0000)
committeradele <adele@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Tue, 3 Jul 2007 23:16:02 +0000 (23:16 +0000)
        Reviewed by Darin.

        Test for: <rdar://problem/5292988> domain names shouldn't contain ignorable characters

        * fast/encoding/idn-security-expected.txt: Added.
        * fast/encoding/idn-security.html: Added.
        * win/Skipped: Blocked by <rdar://problem/5301954>.

WebKit:

        Reviewed by Darin.

        Fix for: <rdar://problem/5292988> domain names shouldn't contain ignorable characters

        * Misc/WebNSURLExtras.m:
        (isLookalikeCharacter): Renamed.  Also excludes any non-printable character,
         any character considered as whitespace that isn't already converted to a space by ICU, any ignorable character,
         and any character excluded in Mozilla's blacklist: http://kb.mozillazine.org/Network.IDN.blacklist_chars
        (allCharactersInIDNScriptWhiteList):

WebKitTools:

        Reviewed by Darin.

        Extended DumpRenderTree to test encoding and decoding host names.

        * DumpRenderTree/DumpRenderTree.m:
        (+[LayoutTestController isSelectorExcludedFromWebScript:]): Added cases for encodeHostName and decodeHostName.
        (+[LayoutTestController webScriptNameForSelector:]): ditto.
        (-[LayoutTestController decodeHostName:]): Added.
        (-[LayoutTestController encodeHostName:]): Added.

git-svn-id: https://svn.webkit.org/repository/webkit/trunk@23963 268f45cc-cd09-0410-ab3c-d52691b4dbfc

LayoutTests/ChangeLog
LayoutTests/fast/encoding/idn-security-expected.txt [new file with mode: 0644]
LayoutTests/fast/encoding/idn-security.html [new file with mode: 0644]
LayoutTests/win/Skipped
WebKit/ChangeLog
WebKit/Misc/WebNSURLExtras.m
WebKitTools/ChangeLog
WebKitTools/DumpRenderTree/DumpRenderTree.m

index 4b0ebff16c7e9612a8ab532b4b976dcb37c53628..47f52699acfc95392342690f4b948f363e142451 100644 (file)
@@ -1,3 +1,13 @@
+2007-07-03  Adele Peterson  <adele@apple.com>
+
+        Reviewed by Darin.
+
+        Test for: <rdar://problem/5292988> domain names shouldn't contain ignorable characters
+
+        * fast/encoding/idn-security-expected.txt: Added.
+        * fast/encoding/idn-security.html: Added.
+        * win/Skipped: Blocked by <rdar://problem/5301954>.
+
 2007-07-03  Sam Weinig  <sam@webkit.org>
 
         Reviewed by Darin.
diff --git a/LayoutTests/fast/encoding/idn-security-expected.txt b/LayoutTests/fast/encoding/idn-security-expected.txt
new file mode 100644 (file)
index 0000000..08e977d
--- /dev/null
@@ -0,0 +1,229 @@
+PASS testIDNRoundTrip(0x2e) is '.'
+PASS testIDNRoundTripNotFirstCharacter(0x2e) is '.'
+PASS testIDNRoundTrip(0x2f) is '/'
+PASS testIDNRoundTripNotFirstCharacter(0x2f) is '/'
+PASS testIDNRoundTrip(0x41) is 'A'
+PASS testIDNRoundTripNotFirstCharacter(0x41) is 'A'
+PASS testIDNRoundTrip(0x633) is '%u0633'
+PASS testIDNRoundTripNotFirstCharacter(0x633) is '%u0633'
+PASS testIDNRoundTrip(0x561) is '%u0561'
+PASS testIDNRoundTripNotFirstCharacter(0x561) is '%u0561'
+PASS testIDNRoundTrip(0x3105) is '%u3105'
+PASS testIDNRoundTripNotFirstCharacter(0x3105) is '%u3105'
+PASS testIDNRoundTrip(0x1613) is '%u1613'
+PASS testIDNRoundTripNotFirstCharacter(0x1613) is '%u1613'
+PASS testIDNRoundTrip(0x905) is '%u0905'
+PASS testIDNRoundTripNotFirstCharacter(0x905) is '%u0905'
+PASS testIDNRoundTrip(0xa85) is '%u0A85'
+PASS testIDNRoundTripNotFirstCharacter(0xa85) is '%u0A85'
+PASS testIDNRoundTrip(0xa05) is '%u0A05'
+PASS testIDNRoundTripNotFirstCharacter(0xa05) is '%u0A05'
+PASS testIDNRoundTrip(0x1115) is '%u1115'
+PASS testIDNRoundTripNotFirstCharacter(0x1115) is '%u1115'
+PASS testIDNRoundTrip(0x4e2d) is '%u4E2D'
+PASS testIDNRoundTripNotFirstCharacter(0x4e2d) is '%u4E2D'
+PASS testIDNRoundTrip(0x5d0) is '%u05D0'
+PASS testIDNRoundTripNotFirstCharacter(0x5d0) is '%u05D0'
+PASS testIDNRoundTrip(0x3041) is '%u3041'
+PASS testIDNRoundTripNotFirstCharacter(0x3041) is '%u3041'
+PASS testIDNRoundTrip(0x30a1) is '%u30A1'
+PASS testIDNRoundTripNotFirstCharacter(0x30a1) is '%u30A1'
+PASS testIDNRoundTrip(0xb94) is '%u0B94'
+PASS testIDNRoundTripNotFirstCharacter(0xb94) is '%u0B94'
+PASS testIDNRoundTrip(0xe01) is '%u0E01'
+PASS testIDNRoundTripNotFirstCharacter(0xe01) is '%u0E01'
+PASS testIDNRoundTrip(0xa000) is '%uA000'
+PASS testIDNRoundTripNotFirstCharacter(0xa000) is '%uA000'
+PASS testIDNRoundTrip(0x2024) is '.'
+PASS testIDNRoundTripNotFirstCharacter(0x2024) is '.'
+PASS testIDNRoundTrip(0xfe52) is '.'
+PASS testIDNRoundTripNotFirstCharacter(0xfe52) is '.'
+PASS testIDNRoundTrip(0xff0f) is '/'
+PASS testIDNRoundTripNotFirstCharacter(0xff0f) is '/'
+PASS testIDNRoundTrip(0xa0) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0xa0) is '%20'
+PASS testIDNRoundTrip(0x2000) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x2000) is '%20'
+PASS testIDNRoundTrip(0x2001) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x2001) is '%20'
+PASS testIDNRoundTrip(0x2002) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x2002) is '%20'
+PASS testIDNRoundTrip(0x2003) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x2003) is '%20'
+PASS testIDNRoundTrip(0x2004) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x2004) is '%20'
+PASS testIDNRoundTrip(0x2005) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x2005) is '%20'
+PASS testIDNRoundTrip(0x2006) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x2006) is '%20'
+PASS testIDNRoundTrip(0x2007) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x2007) is '%20'
+PASS testIDNRoundTrip(0x2008) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x2008) is '%20'
+PASS testIDNRoundTrip(0x2009) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x2009) is '%20'
+PASS testIDNRoundTrip(0x200a) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x200a) is '%20'
+PASS testIDNRoundTrip(0x202f) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x202f) is '%20'
+PASS testIDNRoundTrip(0x205f) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x205f) is '%20'
+PASS testIDNRoundTrip(0x3000) is '%20'
+PASS testIDNRoundTripNotFirstCharacter(0x3000) is '%20'
+PASS testIDNRoundTrip(0xbc) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0xbc) is 'punycode'
+PASS testIDNRoundTrip(0xbd) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0xbd) is 'punycode'
+PASS testIDNRoundTrip(0x1c3) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x1c3) is 'punycode'
+PASS testIDNRoundTrip(0x337) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x337) is 'punycode'
+PASS testIDNRoundTrip(0x337) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x337) is 'punycode'
+PASS testIDNRoundTrip(0x338) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x338) is 'punycode'
+PASS testIDNRoundTrip(0x338) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x338) is 'punycode'
+PASS testIDNRoundTrip(0x5b4) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x5b4) is 'punycode'
+PASS testIDNRoundTrip(0x5bc) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x5bc) is 'punycode'
+PASS testIDNRoundTrip(0x660) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x660) is 'punycode'
+PASS testIDNRoundTrip(0x6f0) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x6f0) is 'punycode'
+PASS testIDNRoundTrip(0x115f) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x115f) is 'punycode'
+PASS testIDNRoundTrip(0x1160) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x1160) is 'punycode'
+PASS testIDNRoundTrip(0x2027) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2027) is 'punycode'
+PASS testIDNRoundTrip(0x2039) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2039) is 'punycode'
+PASS testIDNRoundTrip(0x203a) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x203a) is 'punycode'
+PASS testIDNRoundTrip(0x2044) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2044) is 'punycode'
+PASS testIDNRoundTrip(0x2044) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2044) is 'punycode'
+PASS testIDNRoundTrip(0x2154) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2154) is 'punycode'
+PASS testIDNRoundTrip(0x2155) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2155) is 'punycode'
+PASS testIDNRoundTrip(0x2156) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2156) is 'punycode'
+PASS testIDNRoundTrip(0x2159) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2159) is 'punycode'
+PASS testIDNRoundTrip(0x215a) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x215a) is 'punycode'
+PASS testIDNRoundTrip(0x215b) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x215b) is 'punycode'
+PASS testIDNRoundTrip(0x215f) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x215f) is 'punycode'
+PASS testIDNRoundTrip(0x2215) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2215) is 'punycode'
+PASS testIDNRoundTrip(0x2215) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2215) is 'punycode'
+PASS testIDNRoundTrip(0x23ae) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x23ae) is 'punycode'
+PASS testIDNRoundTrip(0x2571) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2571) is 'punycode'
+PASS testIDNRoundTrip(0x29f6) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x29f6) is 'punycode'
+PASS testIDNRoundTrip(0x29f8) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x29f8) is 'punycode'
+PASS testIDNRoundTrip(0x29f8) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x29f8) is 'punycode'
+PASS testIDNRoundTrip(0x2afb) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2afb) is 'punycode'
+PASS testIDNRoundTrip(0x2afd) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x2afd) is 'punycode'
+PASS testIDNRoundTrip(0x3014) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x3014) is 'punycode'
+PASS testIDNRoundTrip(0x3015) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x3015) is 'punycode'
+PASS testIDNRoundTrip(0x3033) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x3033) is 'punycode'
+PASS testIDNRoundTrip(0x3164) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x3164) is 'punycode'
+PASS testIDNRoundTrip(0x321d) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x321d) is 'punycode'
+PASS testIDNRoundTrip(0x321e) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x321e) is 'punycode'
+PASS testIDNRoundTrip(0x33ae) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x33ae) is 'punycode'
+PASS testIDNRoundTrip(0x33af) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x33af) is 'punycode'
+PASS testIDNRoundTrip(0x33c6) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x33c6) is 'punycode'
+PASS testIDNRoundTrip(0x33df) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0x33df) is 'punycode'
+PASS testIDNRoundTrip(0xfe14) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0xfe14) is 'punycode'
+PASS testIDNRoundTrip(0xfe15) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0xfe15) is 'punycode'
+PASS testIDNRoundTrip(0xfe3f) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0xfe3f) is 'punycode'
+PASS testIDNRoundTrip(0xfe5d) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0xfe5d) is 'punycode'
+PASS testIDNRoundTrip(0xfe5e) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0xfe5e) is 'punycode'
+PASS testIDNRoundTrip(0xffa0) is 'punycode'
+PASS testIDNRoundTripNotFirstCharacter(0xffa0) is 'punycode'
+PASS testIDNEncode(0x2028) is '%u2028'
+PASS testIDNEncodeNotFirstCharacter(0x2028) is '%u2028'
+PASS testIDNEncode(0x2029) is '%u2029'
+PASS testIDNEncodeNotFirstCharacter(0x2029) is '%u2029'
+PASS testIDNEncode(0x2ff0) is '%u2FF0'
+PASS testIDNEncodeNotFirstCharacter(0x2ff0) is '%u2FF0'
+PASS testIDNEncode(0x2ff1) is '%u2FF1'
+PASS testIDNEncodeNotFirstCharacter(0x2ff1) is '%u2FF1'
+PASS testIDNEncode(0x2ff2) is '%u2FF2'
+PASS testIDNEncodeNotFirstCharacter(0x2ff2) is '%u2FF2'
+PASS testIDNEncode(0x2ff3) is '%u2FF3'
+PASS testIDNEncodeNotFirstCharacter(0x2ff3) is '%u2FF3'
+PASS testIDNEncode(0x2ff4) is '%u2FF4'
+PASS testIDNEncodeNotFirstCharacter(0x2ff4) is '%u2FF4'
+PASS testIDNEncode(0x2ff5) is '%u2FF5'
+PASS testIDNEncodeNotFirstCharacter(0x2ff5) is '%u2FF5'
+PASS testIDNEncode(0x2ff6) is '%u2FF6'
+PASS testIDNEncodeNotFirstCharacter(0x2ff6) is '%u2FF6'
+PASS testIDNEncode(0x2ff7) is '%u2FF7'
+PASS testIDNEncodeNotFirstCharacter(0x2ff7) is '%u2FF7'
+PASS testIDNEncode(0x2ff8) is '%u2FF8'
+PASS testIDNEncodeNotFirstCharacter(0x2ff8) is '%u2FF8'
+PASS testIDNEncode(0x2ff9) is '%u2FF9'
+PASS testIDNEncodeNotFirstCharacter(0x2ff9) is '%u2FF9'
+PASS testIDNEncode(0x2ffa) is '%u2FFA'
+PASS testIDNEncodeNotFirstCharacter(0x2ffa) is '%u2FFA'
+PASS testIDNEncode(0x2ffb) is '%u2FFB'
+PASS testIDNEncodeNotFirstCharacter(0x2ffb) is '%u2FFB'
+PASS testIDNEncode(0xfff9) is '%uFFF9'
+PASS testIDNEncodeNotFirstCharacter(0xfff9) is '%uFFF9'
+PASS testIDNEncode(0xfffa) is '%uFFFA'
+PASS testIDNEncodeNotFirstCharacter(0xfffa) is '%uFFFA'
+PASS testIDNEncode(0xfffb) is '%uFFFB'
+PASS testIDNEncodeNotFirstCharacter(0xfffb) is '%uFFFB'
+PASS testIDNEncode(0xfffc) is '%uFFFC'
+PASS testIDNEncodeNotFirstCharacter(0xfffc) is '%uFFFC'
+PASS testIDNEncode(0xfffd) is '%uFFFD'
+PASS testIDNEncodeNotFirstCharacter(0xfffd) is '%uFFFD'
+PASS testIDNRoundTrip(0x5c3) is 'punycode'
+PASS testIDNEncodeNotFirstCharacter(0x5c3) is '%u05C3'
+PASS testIDNRoundTrip(0x5f4) is 'punycode'
+PASS testIDNEncodeNotFirstCharacter(0x5f4) is '%u05F4'
+PASS testIDNRoundTrip(0x6d4) is 'punycode'
+PASS testIDNEncodeNotFirstCharacter(0x6d4) is '%u06D4'
+PASS testIDNRoundTrip(0x702) is 'punycode'
+PASS testIDNEncodeNotFirstCharacter(0x702) is '%u0702'
+PASS testIDNEncode(0x200b) is '%u200B'
+PASS testIDNRoundTripNotFirstCharacter(0x200b) is ''
+PASS testIDNEncode(0x3002) is '%u3002'
+PASS testIDNRoundTripNotFirstCharacter(0x3002) is '.'
+PASS testIDNEncode(0xff0e) is '%uFF0E'
+PASS testIDNRoundTripNotFirstCharacter(0xff0e) is '.'
+PASS testIDNEncode(0xff61) is '%uFF61'
+PASS testIDNRoundTripNotFirstCharacter(0xff61) is '.'
+PASS testIDNEncode(0xfeff) is '%uFEFF'
+PASS testIDNRoundTripNotFirstCharacter(0xfeff) is ''
+
diff --git a/LayoutTests/fast/encoding/idn-security.html b/LayoutTests/fast/encoding/idn-security.html
new file mode 100644 (file)
index 0000000..4408376
--- /dev/null
@@ -0,0 +1,255 @@
+<html>
+<head>
+<link rel="stylesheet" href="../js/resources/js-test-style.css">
+<script src="../js/resources/js-test-pre.js"></script>
+</head>
+<body>
+<p id="description"></p>
+<div id="console"></div>
+<script>
+
+function testIDNEncode(charCode)
+{
+    var str = String.fromCharCode(charCode);
+    str = layoutTestController.encodeHostName(str);
+    if (str.substr(0, 4) == "xn--")
+        return "punycode";
+    return escape(str);
+}
+
+function testIDNEncodeNotFirstCharacter(charCode)
+{
+    var str = String.fromCharCode(charCode);
+    str = "a" + str;
+    str = layoutTestController.encodeHostName(str);
+    if (str.substr(0, 4) == "xn--")
+        return "punycode";
+    if (str.substr(0, 1) == "a")
+        str = str.substr(1, str.length - 1);
+    return escape(str);
+}
+
+function testIDNRoundTrip(charCode)
+{
+    var str = String.fromCharCode(charCode);
+    str = layoutTestController.encodeHostName(str);
+    str = layoutTestController.decodeHostName(str);
+    if (str.substr(0, 4) == "xn--")
+        return "punycode";
+    return escape(str);
+}
+
+function testIDNRoundTripNotFirstCharacter(charCode)
+{
+    var str = String.fromCharCode(charCode);
+    str = "a" + str;
+    str = layoutTestController.encodeHostName(str);
+    str = layoutTestController.decodeHostName(str);
+    if (str.substr(0, 4) == "xn--")
+        return "punycode";
+    if (str.substr(0, 1) == "a")
+        str = str.substr(1, str.length - 1);
+    return escape(str);
+}
+
+function testFunctionName(expected)
+{
+    if (expected == "does not encode")
+        return "testIDNEncode";
+    return "testIDNRoundTrip";
+}
+
+function expectedTestResult(charCode, expected)
+{
+    if (expected == "disallowed")
+        return "'punycode'";
+    if (expected == "allowed" || expected == "does not encode")
+        return "'" + escape(String.fromCharCode(charCode)) + "'";
+    return "'" + expected + "'";
+}
+
+function testIDNCharacter(charCode, expected, expectedNotFirstCharacter)
+{
+    if (expectedNotFirstCharacter == null)
+        expectedNotFirstCharacter = expected;
+
+    shouldBe(testFunctionName(expected) + "(0x" + charCode.toString(16) + ")",
+        expectedTestResult(charCode, expected));
+
+    shouldBe(testFunctionName(expectedNotFirstCharacter) + "NotFirstCharacter(0x" + charCode.toString(16) + ")",
+        expectedTestResult(charCode, expectedNotFirstCharacter));    
+}
+
+function testBecomesSpaceIDNCharacter(charCode)
+{
+    shouldBe("testIDNRoundTrip(0x" + charCode.toString(16) + ")", "'%20'");
+    shouldBe("testIDNRoundTripFirstCharacter(0x" + charCode.toString(16) + ")", "'%20'");
+}
+
+function testBecomesASCIIIDNCharacter(charCode, expected)
+{
+    shouldBe("testIDNRoundTrip(0x" + charCode.toString(16) + ")", "'" + expected + "'");
+    shouldBe("testIDNRoundTripFirstCharacter(0x" + charCode.toString(16) + ")", "'" + expected + "'");
+}
+
+function testDisallowedIDNCharacter(charCode)
+{
+    shouldBe("testIDNRoundTrip(0x" + charCode.toString(16) + ")", "'punycode'");
+    shouldBe("testIDNRoundTripFirstCharacter(0x" + charCode.toString(16) + ")", "'punycode'");
+}
+
+function testAllowedIDNCharacter(charCode)
+{
+    var expected = escape(String.fromCharCode(charCode));
+    shouldBe("testIDNRoundTrip(0x" + charCode.toString(16) + ")", "'" + expected + "'");
+    shouldBe("testIDNRoundTripFirstCharacter(0x" + charCode.toString(16) + ")", "'" + expected + "'");
+}
+
+function testDoesNotEncodeIDNCharacter(charCode)
+{
+    var expected = escape(String.fromCharCode(charCode));
+    shouldBe("testIDNEncode(0x" + charCode.toString(16) + ")", "'" + expected + "'");
+    shouldBe("testIDNEncodeTripFirstCharacter(0x" + charCode.toString(16) + ")", "'" + expected + "'");
+}
+
+/* Allowed Characters - dot and slash */
+testIDNCharacter(".".charCodeAt(0), "allowed");
+testIDNCharacter("/".charCodeAt(0), "allowed");
+
+/* Allowed Characters - one character for each script in the default IDN whitelist*/
+testIDNCharacter(0x0041, "allowed");
+testIDNCharacter(0x0633, "allowed");
+testIDNCharacter(0x0561, "allowed");
+testIDNCharacter(0x3105, "allowed");
+testIDNCharacter(0x1613, "allowed");
+testIDNCharacter(0x0905, "allowed");
+testIDNCharacter(0x0A85, "allowed");
+testIDNCharacter(0x0A05, "allowed");
+testIDNCharacter(0x1115, "allowed");
+testIDNCharacter(0x4E2D, "allowed");
+testIDNCharacter(0x05D0, "allowed");
+testIDNCharacter(0x3041, "allowed");
+testIDNCharacter(0x30A1, "allowed");
+testIDNCharacter(0x0B94, "allowed");
+testIDNCharacter(0x0E01, "allowed");
+testIDNCharacter(0xA000, "allowed");
+
+/* ICU converts these to other allowed characters, so the original character can't be used to get to a phishy domain name */
+testIDNCharacter(0x2024, ".");
+testIDNCharacter(0xFE52, ".");
+testIDNCharacter(0xFF0F, "/");
+
+/* ICU converts these characters to space, so the original character can't be used to get to a phishy domain name */
+testIDNCharacter(0x00A0, "%20");
+testIDNCharacter(0x2000, "%20");
+testIDNCharacter(0x2001, "%20");
+testIDNCharacter(0x2002, "%20");
+testIDNCharacter(0x2003, "%20");
+testIDNCharacter(0x2004, "%20");
+testIDNCharacter(0x2005, "%20");
+testIDNCharacter(0x2006, "%20");
+testIDNCharacter(0x2007, "%20");
+testIDNCharacter(0x2008, "%20");
+testIDNCharacter(0x2009, "%20");
+testIDNCharacter(0x200A, "%20");
+testIDNCharacter(0x202F, "%20");
+testIDNCharacter(0x205F, "%20");
+testIDNCharacter(0x3000, "%20");
+
+/* Disallow these characters.  Some of these are known lookalike characters for dot and slash.  
+   A lot of these are from Mozilla's blacklist: http://kb.mozillazine.org/Network.IDN.blacklist_chars
+*/
+testIDNCharacter(0x00BC, "disallowed");
+testIDNCharacter(0x00BD, "disallowed");
+testIDNCharacter(0x01C3, "disallowed");
+testIDNCharacter(0x0337, "disallowed");
+testIDNCharacter(0x0337, "disallowed");
+testIDNCharacter(0x0338, "disallowed");
+testIDNCharacter(0x0338, "disallowed");
+testIDNCharacter(0x05B4, "disallowed");
+testIDNCharacter(0x05BC, "disallowed");
+testIDNCharacter(0x0660, "disallowed");
+testIDNCharacter(0x06F0, "disallowed");
+testIDNCharacter(0x115F, "disallowed");
+testIDNCharacter(0x1160, "disallowed");
+testIDNCharacter(0x2027, "disallowed");
+testIDNCharacter(0x2039, "disallowed");
+testIDNCharacter(0x203A, "disallowed");
+testIDNCharacter(0x2044, "disallowed");
+testIDNCharacter(0x2044, "disallowed");
+testIDNCharacter(0x2154, "disallowed");
+testIDNCharacter(0x2155, "disallowed");
+testIDNCharacter(0x2156, "disallowed");
+testIDNCharacter(0x2159, "disallowed");
+testIDNCharacter(0x215A, "disallowed");
+testIDNCharacter(0x215B, "disallowed");
+testIDNCharacter(0x215F, "disallowed");
+testIDNCharacter(0x2215, "disallowed");
+testIDNCharacter(0x2215, "disallowed");
+testIDNCharacter(0x23AE, "disallowed");
+testIDNCharacter(0x2571, "disallowed");
+testIDNCharacter(0x29F6, "disallowed");
+testIDNCharacter(0x29F8, "disallowed");
+testIDNCharacter(0x29F8, "disallowed");
+testIDNCharacter(0x2AFB, "disallowed");
+testIDNCharacter(0x2AFD, "disallowed");
+testIDNCharacter(0x3014, "disallowed");
+testIDNCharacter(0x3015, "disallowed");
+testIDNCharacter(0x3033, "disallowed");
+testIDNCharacter(0x3164, "disallowed");
+testIDNCharacter(0x321D, "disallowed");
+testIDNCharacter(0x321E, "disallowed");
+testIDNCharacter(0x33AE, "disallowed");
+testIDNCharacter(0x33AF, "disallowed");
+testIDNCharacter(0x33C6, "disallowed");
+testIDNCharacter(0x33DF, "disallowed");
+testIDNCharacter(0xFE14, "disallowed");
+testIDNCharacter(0xFE15, "disallowed");
+testIDNCharacter(0xFE3F, "disallowed");
+testIDNCharacter(0xFE5D, "disallowed");
+testIDNCharacter(0xFE5E, "disallowed");
+testIDNCharacter(0xFFA0, "disallowed");
+
+/* ICU won't encode these characters in IDN, thus we should always get 'host not found'. */
+testIDNCharacter(0x2028, "does not encode");
+testIDNCharacter(0x2029, "does not encode");
+testIDNCharacter(0x2FF0, "does not encode");
+testIDNCharacter(0x2FF1, "does not encode");
+testIDNCharacter(0x2FF2, "does not encode");
+testIDNCharacter(0x2FF3, "does not encode");
+testIDNCharacter(0x2FF4, "does not encode");
+testIDNCharacter(0x2FF5, "does not encode");
+testIDNCharacter(0x2FF6, "does not encode");
+testIDNCharacter(0x2FF7, "does not encode");
+testIDNCharacter(0x2FF8, "does not encode");
+testIDNCharacter(0x2FF9, "does not encode");
+testIDNCharacter(0x2FFA, "does not encode");
+testIDNCharacter(0x2FFB, "does not encode");
+testIDNCharacter(0xFFF9, "does not encode");
+testIDNCharacter(0xFFFA, "does not encode");
+testIDNCharacter(0xFFFB, "does not encode");
+testIDNCharacter(0xFFFC, "does not encode");
+testIDNCharacter(0xFFFD, "does not encode");
+
+/* ICU won't encode these characters if they're not the first character in the host name.  
+   If the character does get encoded as the first character, then we will disallow it */
+   
+testIDNCharacter(0x05C3, "disallowed", "does not encode");
+testIDNCharacter(0x05F4, "disallowed", "does not encode");
+testIDNCharacter(0x06D4, "disallowed", "does not encode");
+testIDNCharacter(0x0702, "disallowed", "does not encode");
+
+/* ICU won't encode these characters if they're the first character in the host name.  
+   If the character does get encoded as the first character, then ICU converts it to another allowed character */
+
+testIDNCharacter(0x200B, "does not encode", "");
+testIDNCharacter(0x3002, "does not encode", ".");
+testIDNCharacter(0xFF0E, "does not encode", ".");
+testIDNCharacter(0xFF61, "does not encode", ".");
+testIDNCharacter(0xFEFF, "does not encode", "");
+
+successfullyParsed = true;
+
+</script>
+</body>
+</html>
index f846c9d9baf168ec11132a0edfb9249289162199..53f3a9beb32be6392cd301ac80f637e80dd1c253 100644 (file)
@@ -647,3 +647,6 @@ fast/table/giantCellspacing.html
 
 # Crash in CMM8Bit3ChanNoConvEncoder::InnerDoEncode
 fast/css/contentDivWithChildren.html
+
+# Need to add functionality to DumpRenderTree to test IDN <rdar://problem/5301954>
+fast/encoding/idn-security.html
index 308b3159aee381e8f23ca74ff01dcb52202dc1f6..395c4101c677f9e2102f1e1bdd4382e6494bb581 100644 (file)
@@ -1,3 +1,15 @@
+2007-07-03  Adele Peterson  <adele@apple.com>
+
+        Reviewed by Darin.
+
+        Fix for: <rdar://problem/5292988> domain names shouldn't contain ignorable characters
+
+        * Misc/WebNSURLExtras.m:
+        (isLookalikeCharacter): Renamed.  Also excludes any non-printable character, 
+         any character considered as whitespace that isn't already converted to a space by ICU, any ignorable character,
+         and any character excluded in Mozilla's blacklist: http://kb.mozillazine.org/Network.IDN.blacklist_chars
+        (allCharactersInIDNScriptWhiteList):
+
 2007-07-03  Darin Adler  <darin@apple.com>
 
         Reviewed by Maciej.
index 68cd706bbb76a931015c1d84f7bcf30be1619e56..e6ba00cc553e3205b3b9619ad6c99fc5b51ff25f 100644 (file)
@@ -56,29 +56,51 @@ typedef void (* StringRangeApplierFunction)(NSString *string, NSRange range, voi
 static pthread_once_t IDNScriptWhiteListFileRead = PTHREAD_ONCE_INIT;
 static uint32_t IDNScriptWhiteList[(USCRIPT_CODE_LIMIT + 31) / 32];
 
-static inline BOOL isSlashOrPeriodLookalike(int charCode)
+static inline BOOL isLookalikeCharacter(int charCode)
 {
 // FIXME: Move this code down into WebCore so it can be shared with other platforms.
-/*
-    There are a few characters that look like they should belong in this list, 
-    but the IDN functions in ICU convert them to the plain ASCII equivalent
-    
-    Fullwidth Solidus   0xFF0F
-    One Dot Leader      0x2024
-    Small Full Stop     0xFE52
-    Fullwidth Full Stop 0xFF0E
-*/
+
+// This function treats the following as unsafe, lookalike characters:
+// any non-printable character, any character considered as whitespace that isn't already converted to a space by ICU, 
+// any ignorable character, and any character excluded in Mozilla's blacklist: http://kb.mozillazine.org/Network.IDN.blacklist_chars
+
+    if (!u_isprint(charCode) || u_isUWhiteSpace(charCode) || u_hasBinaryProperty(charCode, UCHAR_DEFAULT_IGNORABLE_CODE_POINT))
+        return YES;
+
     switch (charCode) {
-        case 0x2215: /* Division Slash */
-        case 0x2044: /* Fraction Slash */
-        case 0x2571: /* Box Drawings Light Diagonal Upper Right To Lower Left */
-        case 0x0337: /* Combining Short Solidus Overlay */
-        case 0x0338: /* Combining Long Solidus Overlay */
-        case 0x29F8: /* Big Solidus */
-        case 0x0660: /* Arabic Indic Digit Zero */
-        case 0x06F0: /* Extended Arabic Indic Digit Zero */
-        case 0x05B4: /* Hebrew Point Hiriq */
-        case 0x05BC: /* Hebrew Point Dagesh Or Mapiq */
+        case 0x01C3: /* LATIN LETTER RETROFLEX CLICK */
+        case 0x0337: /* COMBINING SHORT SOLIDUS OVERLAY */
+        case 0x0338: /* COMBINING LONG SOLIDUS OVERLAY */
+        case 0x05B4: /* HEBREW POINT HIRIQ */
+        case 0x05BC: /* HEBREW POINT DAGESH OR MAPIQ */
+        case 0x05C3: /* HEBREW PUNCTUATION SOF PASUQ */
+        case 0x05F4: /* HEBREW PUNCTUATION GERSHAYIM */
+        case 0x0660: /* ARABIC INDIC DIGIT ZERO */
+        case 0x06D4: /* ARABIC FULL STOP */
+        case 0x06F0: /* EXTENDED ARABIC INDIC DIGIT ZERO */
+        case 0x2027: /* HYPHENATION POINT */
+        case 0x2039: /* SINGLE LEFT-POINTING ANGLE QUOTATION MARK */
+        case 0x203A: /* SINGLE RIGHT-POINTING ANGLE QUOTATION MARK */
+        case 0x2044: /* FRACTION SLASH */
+        case 0x2215: /* DIVISION SLASH */
+        case 0x23ae: /* INTEGRAL EXTENSION */
+        case 0x2571: /* BOX DRAWINGS LIGHT DIAGONAL UPPER RIGHT TO LOWER LEFT */
+        case 0x29F8: /* BIG SOLIDUS */
+        case 0x29f6: /* SOLIDUS WITH OVERBAR */
+        case 0x2AFB: /* TRIPLE SOLIDUS BINARY RELATION */
+        case 0x2AFD: /* DOUBLE SOLIDUS OPERATOR */
+        case 0x3008: /* LEFT ANGLE BRACKET */
+        case 0x3014: /* LEFT TORTOISE SHELL BRACKET */
+        case 0x3015: /* RIGHT TORTOISE SHELL BRACKET */
+        case 0x3033: /* VERTICAL KANA REPEAT MARK UPPER HALF */
+        case 0x321D: /* PARENTHESIZED KOREAN CHARACTER OJEON */
+        case 0x321E: /* PARENTHESIZED KOREAN CHARACTER O HU */
+        case 0x33DF: /* SQUARE A OVER M */
+        case 0xFE14: /* PRESENTATION FORM FOR VERTICAL SEMICOLON */
+        case 0xFE15: /* PRESENTATION FORM FOR VERTICAL EXCLAMATION MARK */
+        case 0xFE3F: /* PRESENTATION FORM FOR VERTICAL LEFT ANGLE BRACKET */
+        case 0xFE5D: /* SMALL LEFT TORTOISE SHELL BRACKET */
+        case 0xFE5E: /* SMALL RIGHT TORTOISE SHELL BRACKET */
             return YES;
         default:
             return NO;
@@ -306,6 +328,7 @@ static NSString *mapHostNames(NSString *string, BOOL encode)
         : collectRangesThatNeedDecoding;
     applyHostNameFunctionToURLString(string, f, &hostNameRanges);
     if (hostNameRanges == nil) {
+        printf("failed to apply host name function.  idn encoding will not occur\n");
         return string;
     }
 
@@ -883,7 +906,7 @@ static BOOL allCharactersInIDNScriptWhiteList(const UChar *buffer, int32_t lengt
             return NO;
         }
 
-        if (isSlashOrPeriodLookalike(c))
+        if (isLookalikeCharacter(c))
             return NO;
     }
     return YES;
index 4dd896a010c92ca36b3d38257786fac794db4d66..8803b39981236c236e9f1b2ebe38c369c1d52a95 100644 (file)
@@ -1,3 +1,15 @@
+2007-07-03  Adele Peterson  <adele@apple.com>
+
+        Reviewed by Darin.
+
+        Extended DumpRenderTree to test encoding and decoding host names.
+
+        * DumpRenderTree/DumpRenderTree.m:
+        (+[LayoutTestController isSelectorExcludedFromWebScript:]): Added cases for encodeHostName and decodeHostName.
+        (+[LayoutTestController webScriptNameForSelector:]): ditto.
+        (-[LayoutTestController decodeHostName:]): Added.
+        (-[LayoutTestController encodeHostName:]): Added.
+
 2007-07-03  Sam Weinig  <sam@webkit.org>
 
         Reviewed by Darin.
index 5bcd19bb612870049d3933b0a6786c5bbced7432..2ac350cc05dc56ff71b5d3d8d76f9b9da9d3848a 100644 (file)
@@ -936,49 +936,53 @@ void dump(void)
 
 + (BOOL)isSelectorExcludedFromWebScript:(SEL)aSelector
 {
-    if (aSelector == @selector(waitUntilDone)
-            || aSelector == @selector(notifyDone)
+    if (0
+            || aSelector == @selector(accessStoredWebScriptObject)
+            || aSelector == @selector(addDisallowedURL:)    
+            || aSelector == @selector(addFileToPasteboardOnDrag)
+            || aSelector == @selector(clearBackForwardList)
+            || aSelector == @selector(decodeHostName:)
+            || aSelector == @selector(display)
             || aSelector == @selector(dumpAsText)
-            || aSelector == @selector(dumpDOMAsWebArchive)
-            || aSelector == @selector(dumpSourceAsWebArchive)
-            || aSelector == @selector(dumpTitleChanges)
             || aSelector == @selector(dumpBackForwardList)
             || aSelector == @selector(dumpChildFrameScrollPositions)
+            || aSelector == @selector(dumpDOMAsWebArchive)
             || aSelector == @selector(dumpEditingCallbacks)
-            || aSelector == @selector(dumpResourceLoadCallbacks)
             || aSelector == @selector(dumpFrameLoadCallbacks)
-            || aSelector == @selector(setWindowIsKey:)
-            || aSelector == @selector(setMainFrameIsFirstResponder:)
+            || aSelector == @selector(dumpResourceLoadCallbacks)
             || aSelector == @selector(dumpSelectionRect)
-            || aSelector == @selector(display)
-            || aSelector == @selector(testRepaint)
-            || aSelector == @selector(repaintSweepHorizontally)
+            || aSelector == @selector(dumpSourceAsWebArchive)
+            || aSelector == @selector(dumpTitleChanges)
+            || aSelector == @selector(encodeHostName:)
+            || aSelector == @selector(keepWebHistory)
+            || aSelector == @selector(notifyDone)
+            || aSelector == @selector(objCClassNameOf:)
+            || aSelector == @selector(objCIdentityIsEqual::)
+            || aSelector == @selector(objCObjectOfClass:)
+            || aSelector == @selector(objCLongLongRoundTrip:)
+            || aSelector == @selector(objCUnsignedLongLongRoundTrip:)
             || aSelector == @selector(queueBackNavigation:)
             || aSelector == @selector(queueForwardNavigation:)
+            || aSelector == @selector(queueLoad:target:)
             || aSelector == @selector(queueReload)
             || aSelector == @selector(queueScript:)
-            || aSelector == @selector(queueLoad:target:)
-            || aSelector == @selector(clearBackForwardList)
-            || aSelector == @selector(keepWebHistory)
+            || aSelector == @selector(repaintSweepHorizontally)
             || aSelector == @selector(setAcceptsEditing:)
-            || aSelector == @selector(setTabKeyCyclesThroughElements:)
-            || aSelector == @selector(storeWebScriptObject:)
-            || aSelector == @selector(accessStoredWebScriptObject)
-            || aSelector == @selector(testWrapperRoundTripping:)
-            || aSelector == @selector(setUserStyleSheetLocation:)
-            || aSelector == @selector(setUserStyleSheetEnabled:)
-            || aSelector == @selector(objCClassNameOf:)
-            || aSelector == @selector(objCObjectOfClass:)
-            || aSelector == @selector(objCIdentityIsEqual::)
-            || aSelector == @selector(addDisallowedURL:)    
-            || aSelector == @selector(setCanOpenWindows)
             || aSelector == @selector(setCallCloseOnWebViews:)
+            || aSelector == @selector(setCanOpenWindows)
             || aSelector == @selector(setCloseRemainingWindowsWhenComplete:)
+            || aSelector == @selector(setMainFrameIsFirstResponder:)
+            || aSelector == @selector(setTabKeyCyclesThroughElements:)
             || aSelector == @selector(setUseDashboardCompatibilityMode:)
+            || aSelector == @selector(setUserStyleSheetEnabled:)
+            || aSelector == @selector(setUserStyleSheetLocation:)
+            || aSelector == @selector(setWindowIsKey:)
+            || aSelector == @selector(storeWebScriptObject:)
+            || aSelector == @selector(testRepaint)
+            || aSelector == @selector(testWrapperRoundTripping:)
+            || aSelector == @selector(waitUntilDone)
             || aSelector == @selector(windowCount)
-            || aSelector == @selector(addFileToPasteboardOnDrag)
-            || aSelector == @selector(objCLongLongRoundTrip:)
-            || aSelector == @selector(objCUnsignedLongLongRoundTrip:))
+        )
         return NO;
     return YES;
 }
@@ -1023,6 +1027,10 @@ void dump(void)
         return @"setCloseRemainingWindowsWhenComplete";
     if (aSelector == @selector(setUseDashboardCompatibilityMode:))
         return @"setUseDashboardCompatiblityMode";
+    if (aSelector == @selector(encodeHostName:))
+        return @"encodeHostName";
+    if (aSelector == @selector(decodeHostName:))
+        return @"decodeHostName";    
     if (aSelector == @selector(objCLongLongRoundTrip:))
         return @"objCLongLongRoundTrip";
     if (aSelector == @selector(objCUnsignedLongLongRoundTrip:))
@@ -1388,6 +1396,16 @@ void dump(void)
     return a == b;
 }
 
+- (NSString*)decodeHostName:(NSString*)name
+{
+    return [name _web_decodeHostName];
+}
+
+- (NSString*)encodeHostName:(NSString*)name
+{
+    return [name _web_encodeHostName];
+}
+
 - (long long)objCLongLongRoundTrip:(long long)num
 {
     return num;