Lion Production Test failing with error: "Failed to stop httpd: pid file still exists...
[WebKit-https.git] / Tools / Scripts / webkitpy / layout_tests / servers / apache_http_server.py
1 #!/usr/bin/env python
2 # Copyright (C) 2011 Google Inc. All rights reserved.
3 #
4 # Redistribution and use in source and binary forms, with or without
5 # modification, are permitted provided that the following conditions are
6 # met:
7 #
8 #     * Redistributions of source code must retain the above copyright
9 # notice, this list of conditions and the following disclaimer.
10 #     * Redistributions in binary form must reproduce the above
11 # copyright notice, this list of conditions and the following disclaimer
12 # in the documentation and/or other materials provided with the
13 # distribution.
14 #     * Neither the name of Google Inc. nor the names of its
15 # contributors may be used to endorse or promote products derived from
16 # this software without specific prior written permission.
17 #
18 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
19 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
20 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
21 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
22 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
23 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
24 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
25 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
26 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
27 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
28 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
29
30 """A class to start/stop the apache http server used by layout tests."""
31
32
33 import logging
34 import os
35 import re
36 import sys
37
38 from webkitpy.layout_tests.servers import http_server_base
39
40
41 _log = logging.getLogger(__name__)
42
43
44 class LayoutTestApacheHttpd(http_server_base.HttpServerBase):
45
46     def __init__(self, port_obj, output_dir, additional_dirs=None):
47         """Args:
48           port_obj: handle to the platform-specific routines
49           output_dir: the absolute path to the layout test result directory
50         """
51         http_server_base.HttpServerBase.__init__(self, port_obj)
52         # We use the name "httpd" instead of "apache" to make our paths (e.g. the pid file: /tmp/WebKit/httpd.pid)
53         # match old-run-webkit-tests: https://bugs.webkit.org/show_bug.cgi?id=63956
54         self._name = 'httpd'
55         self._mappings = [{'port': 8000},
56                           {'port': 8080},
57                           {'port': 8081},
58                           {'port': 8443, 'sslcert': True}]
59         self._output_dir = output_dir
60         self._filesystem.maybe_make_directory(output_dir)
61
62         self._pid_file = self._filesystem.join(self._runtime_path, '%s.pid' % self._name)
63
64         test_dir = self._port_obj.layout_tests_dir()
65         js_test_resources_dir = self._filesystem.join(test_dir, "fast", "js", "resources")
66         media_resources_dir = self._filesystem.join(test_dir, "media")
67         mime_types_path = self._filesystem.join(test_dir, "http", "conf", "mime.types")
68         cert_file = self._filesystem.join(test_dir, "http", "conf", "webkit-httpd.pem")
69         access_log = self._filesystem.join(output_dir, "access_log.txt")
70         error_log = self._filesystem.join(output_dir, "error_log.txt")
71         document_root = self._filesystem.join(test_dir, "http", "tests")
72
73         # FIXME: We shouldn't be calling a protected method of _port_obj!
74         executable = self._port_obj._path_to_apache()
75
76         start_cmd = [executable,
77             '-f', "\"%s\"" % self._get_apache_config_file_path(test_dir, output_dir),
78             '-C', "\'DocumentRoot \"%s\"\'" % document_root,
79             '-c', "\'Alias /js-test-resources \"%s\"'" % js_test_resources_dir,
80             '-c', "\'Alias /media-resources \"%s\"'" % media_resources_dir,
81             '-C', "\'Listen %s\'" % "127.0.0.1:8000",
82             '-C', "\'Listen %s\'" % "127.0.0.1:8081",
83             '-c', "\'TypesConfig \"%s\"\'" % mime_types_path,
84             '-c', "\'CustomLog \"%s\" common\'" % access_log,
85             '-c', "\'ErrorLog \"%s\"\'" % error_log,
86             '-C', "\'User \"%s\"\'" % os.environ.get("USERNAME", os.environ.get("USER", "")),
87             '-c', "\'PidFile %s'" % self._pid_file,
88             '-k', "start"]
89
90         if additional_dirs:
91             for alias, path in additional_dirs.iteritems():
92                 start_cmd += ['-c', "\'Alias %s \"%s\"\'" % (alias, path),
93                         # Disable CGI handler for additional dirs.
94                         '-c', "\'<Location %s>\'" % alias,
95                         '-c', "\'RemoveHandler .cgi .pl\'",
96                         '-c', "\'</Location>\'"]
97
98         stop_cmd = [executable,
99             '-f', "\"%s\"" % self._get_apache_config_file_path(test_dir, output_dir),
100             '-c', "\'PidFile %s'" % self._pid_file,
101             '-k', "stop"]
102
103         start_cmd.extend(['-c', "\'SSLCertificateFile %s\'" % cert_file])
104         # Join the string here so that Cygwin/Windows and Mac/Linux
105         # can use the same code. Otherwise, we could remove the single
106         # quotes above and keep cmd as a sequence.
107         # FIXME: It's unclear if this is still needed.
108         self._start_cmd = " ".join(start_cmd)
109         self._stop_cmd = " ".join(stop_cmd)
110
111     def _get_apache_config_file_path(self, test_dir, output_dir):
112         """Returns the path to the apache config file to use.
113         Args:
114           test_dir: absolute path to the LayoutTests directory.
115           output_dir: absolute path to the layout test results directory.
116         """
117         httpd_config = self._port_obj._path_to_apache_config_file()
118         httpd_config_copy = os.path.join(output_dir, "httpd.conf")
119         httpd_conf = self._filesystem.read_text_file(httpd_config)
120
121         # FIXME: Why do we need to copy the config file since we're not modifying it?
122         self._filesystem.write_text_file(httpd_config_copy, httpd_conf)
123
124         return httpd_config_copy
125
126     def _spawn_process(self):
127         _log.debug('Starting %s server, cmd="%s"' % (self._name, str(self._start_cmd)))
128         retval, err = self._run(self._start_cmd)
129         if retval or len(err):
130             raise http_server_base.ServerError('Failed to start %s: %s' % (self._name, err))
131
132         # For some reason apache isn't guaranteed to have created the pid file before
133         # the process exits, so we wait a little while longer.
134         if not self._wait_for_action(lambda: self._filesystem.exists(self._pid_file)):
135             raise http_server_base.ServerError('Failed to start %s: no pid file found' % self._name)
136
137         return int(self._filesystem.read_text_file(self._pid_file))
138
139     def _stop_running_server(self):
140         # If apache was forcefully killed, the pid file will not have been deleted, so check
141         # that the process specified by the pid_file no longer exists before deleting the file.
142         if self._pid and not self._executive.check_running_pid(self._pid):
143             self._filesystem.remove(self._pid_file)
144             return
145
146         retval, err = self._run(self._stop_cmd)
147         if retval or len(err):
148             raise http_server_base.ServerError('Failed to stop %s: %s' % (self._name, err))
149
150         # For some reason apache isn't guaranteed to have actually stopped after
151         # the stop command returns, so we wait a little while longer for the
152         # pid file to be removed.
153         if not self._wait_for_action(lambda: not self._filesystem.exists(self._pid_file)):
154             raise http_server_base.ServerError('Failed to stop %s: pid file still exists' % self._name)
155
156     def _run(self, cmd):
157         # Use shell=True because we join the arguments into a string for
158         # the sake of Window/Cygwin and it needs quoting that breaks
159         # shell=False.
160         # FIXME: We should not need to be joining shell arguments into strings.
161         # shell=True is a trail of tears.
162         # Note: Not thread safe: http://bugs.python.org/issue2320
163         process = self._executive.popen(cmd, shell=True, stderr=self._executive.PIPE)
164         process.wait()
165         retval = process.returncode
166         err = process.stderr.read()
167         return (retval, err)