Allow robots to index bugs on Bugzilla
authorpeter@chromium.org <peter@chromium.org@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Mon, 24 Sep 2012 15:33:42 +0000 (15:33 +0000)
committerpeter@chromium.org <peter@chromium.org@268f45cc-cd09-0410-ab3c-d52691b4dbfc>
Mon, 24 Sep 2012 15:33:42 +0000 (15:33 +0000)
https://bugs.webkit.org/show_bug.cgi?id=95688

Reviewed by Eric Seidel.

This allows robots to access show_bug.cgi, thus granting them access to
index contents and discussion on WebKit bugs. All other pages, except
for the site index itself, still have indexing disabled.

* robots.txt:

git-svn-id: https://svn.webkit.org/repository/webkit/trunk@129369 268f45cc-cd09-0410-ab3c-d52691b4dbfc

Websites/bugs.webkit.org/ChangeLog
Websites/bugs.webkit.org/robots.txt

index af611ba..ee4d243 100644 (file)
@@ -1,3 +1,16 @@
+2012-09-24  Peter Beverloo  <peter@chromium.org>
+
+        Allow robots to index bugs on Bugzilla
+        https://bugs.webkit.org/show_bug.cgi?id=95688
+
+        Reviewed by Eric Seidel.
+
+        This allows robots to access show_bug.cgi, thus granting them access to
+        index contents and discussion on WebKit bugs. All other pages, except
+        for the site index itself, still have indexing disabled.
+
+        * robots.txt:
+
 2012-07-13  Ojan Vafai  <ojan@chromium.org>
 
         PrettyPatch.rb complains about missing checksum for new pixel results
index 0f823cb..72eb7fe 100644 (file)
@@ -1,3 +1,5 @@
 User-agent: *
 Allow: /index.cgi
+Allow: /show_bug.cgi
 Disallow: /
+Crawl-delay: 20