View snapshots are sometimes taken at the wrong scale
[WebKit-https.git] / Websites / perf.webkit.org / run-tests.js
1 #!/usr/local/bin/node
2
3 var assert = require('assert');
4 var crypto = require('crypto');
5 var fs = require('fs');
6 var http = require('http');
7 var path = require('path');
8 var vm = require('vm');
9
10 function connect(keepAlive) {
11     var pg = require('pg');
12     var database = config('database');
13     var connectionString = 'tcp://' + database.username + ':' + database.password + '@' + database.host + ':' + database.port
14         + '/' + database.name;
15
16     var client = new pg.Client(connectionString);
17     if (!keepAlive) {
18         client.on('drain', function () {
19             client.end();
20             client = undefined;
21         });
22     }
23     client.connect();
24
25     return client;
26 }
27
28 function pathToDatabseSQL(relativePath) {
29     return path.resolve(__dirname, 'init-database.sql');
30 }
31
32 function pathToTests(testName) {
33     return path.resolve(__dirname, 'tests', testName);
34 }
35
36 var configurationJSON = require('./config.json');
37 function config(key) {
38     return configurationJSON[key];
39 }
40
41 function TaskQueue() {
42     var queue = [];
43     var numberOfRemainingTasks = 0;
44     var emptyQueueCallback;
45
46     function startTasksInQueue() {
47         if (!queue.length)
48             return emptyQueueCallback();
49
50         var swappedQueue = queue;
51         queue = [];
52
53         // Increase the counter before the loop in the case taskCallback is called synchronously.
54         numberOfRemainingTasks += swappedQueue.length;
55         for (var i = 0; i < swappedQueue.length; ++i)
56             swappedQueue[i](null, taskCallback);
57     }
58
59     function taskCallback(error) {
60         // FIXME: Handle error.
61         console.assert(numberOfRemainingTasks > 0);
62         numberOfRemainingTasks--;
63         if (!numberOfRemainingTasks)
64             setTimeout(startTasksInQueue, 0);
65     }
66
67     this.addTask = function (task) { queue.push(task); }
68     this.start = function (callback) {
69         emptyQueueCallback = callback;
70         startTasksInQueue();
71     }
72 }
73
74 function SerializedTaskQueue() {
75     var queue = [];
76
77     function executeNextTask(error) {
78         // FIXME: Handle error.
79         var callback = queue.pop();
80         setTimeout(function () { callback(null, executeNextTask); }, 0);
81     }
82
83     this.addTask = function (task) { queue.push(task); }
84     this.start = function (callback) {
85         queue.push(callback);
86         queue.reverse();
87         executeNextTask();
88     }
89 }
90
91 function main() {
92     var client = connect(true);
93     confirmUserWantsDatabaseToBeInitializedIfNeeded(client, function (error, shouldContinue) {
94         if (error)
95             console.error(error);
96
97         if (error || !shouldContinue) {
98             client.end();
99             process.exit(1);
100             return;
101         }
102
103         initializeDatabase(client, function (error) {
104             if (error) {
105                 console.error('Failed to initialize the database', error);
106                 client.end();
107                 process.exit(1);
108             }
109
110             var testCaseQueue = new SerializedTaskQueue();
111             var testFileQueue = new SerializedTaskQueue();
112             fs.readdirSync(pathToTests()).map(function (testFile) {
113                 if (!testFile.match(/.js$/))
114                     return;
115                 testFileQueue.addTask(function (error, callback) {
116                     var testContent = fs.readFileSync(pathToTests(testFile), 'utf-8');
117                     var environment = new TestEnvironment(testCaseQueue);
118                     vm.runInNewContext(testContent, environment, pathToTests(testFile));
119                     callback();
120                 });
121             });
122             testFileQueue.start(function () {
123                 client.end();
124                 testCaseQueue.start(function () {
125                     console.log('DONE');
126                 });
127             });
128         });
129     });
130 }
131
132 function confirmUserWantsDatabaseToBeInitializedIfNeeded(client, callback) {
133     function fetchTableNames(error, callback) {
134         if (error)
135             return callback(error);
136
137         client.query('SELECT table_name FROM information_schema.tables WHERE table_type = \'BASE TABLE\' and table_schema = \'public\'', function (error, result) {
138             if (error)
139                 return callback(error);
140             callback(null, result.rows.map(function (row) { return row['table_name']; }));            
141         });
142     }
143
144     function findNonEmptyTable(error, list, callback) {
145         if (error || !list.length)
146             return callback(error);
147
148         var tableName = list.shift();
149         client.query('SELECT COUNT(*) FROM ' + tableName + ' LIMIT 1', function (error, result) {
150             if (error)
151                 return callback(error);
152
153             if (result.rows[0]['count'])
154                 return callback(null, tableName);
155
156             findNonEmptyTable(null, list, callback);
157         });
158     }
159
160     fetchTableNames(null, function (error, tableNames) {
161         if (error)
162             return callback(error, false);
163
164         findNonEmptyTable(null, tableNames, function (error, nonEmptyTable) {
165             if (error)
166                 return callback(error, false);
167
168             if (!nonEmptyTable)
169                 return callback(null, true);
170
171             console.warn('Table ' + nonEmptyTable + ' is not empty but running tests will drop all tables.');
172             askYesOrNoQuestion(null, 'Do you really want to continue?', callback);
173         });
174     });
175 }
176
177 function askYesOrNoQuestion(error, question, callback) {
178     if (error)
179         return callback(error);
180
181     process.stdout.write(question + ' (y/n):');
182     process.stdin.resume();
183     process.stdin.setEncoding('utf-8');
184     process.stdin.on('data', function (line) {
185         line = line.trim();
186         if (line === 'y') {
187             process.stdin.pause();
188             callback(null, true);
189         } else if (line === 'n') {
190             process.stdin.pause();
191             callback(null, false);
192         } else
193             console.warn('Invalid input:', line);
194     });
195 }
196
197 function initializeDatabase(client, callback) {
198     var commaSeparatedSqlStatements = fs.readFileSync(pathToDatabseSQL(), "utf8");
199
200     var firstError;
201     var queue = new TaskQueue();
202     commaSeparatedSqlStatements.split(/;\s*/).forEach(function (statement) {
203         queue.addTask(function (error, callback) {
204             client.query(statement, function (error) {
205                 if (error && !firstError)
206                     firstError = error;
207                 callback();
208             });
209         })
210     });
211
212     queue.start(function () { callback(firstError); });
213 }
214
215 var currentTestContext;
216 function TestEnvironment(testCaseQueue) {
217     var currentTestGroup;
218
219     this.assert = assert;
220     this.console = console;
221
222     // describe("~", function () {
223     //     it("~", function () { assert(true); });
224     // });
225     this.describe = function (testGroup, callback) {
226         currentTestGroup = testGroup;
227         callback();
228     }
229
230     this.it = function (testCaseDescription, testCase) {
231         testCaseQueue.addTask(function (error, callback) {
232             currentTestContext = new TestContext(currentTestGroup, testCaseDescription, function () {
233                 currentTestContext = null;
234                 initializeDatabase(connect(), callback);
235             });
236             testCase();
237         });
238     }
239
240     this.postJSON = function (path, content, callback) {
241         sendHttpRequest(path, 'POST', 'application/json', JSON.stringify(content), function (error, response) {
242             assert.ifError(error);
243             callback(response);
244         });
245     }
246
247     this.httpGet = function (path, callback) {
248         sendHttpRequest(path, 'GET', null, '', function (error, response) {
249             assert.ifError(error);
250             callback(response);
251         });
252     }
253
254     this.httpPost= function (path, content, callback) {
255         var contentType = null;
256         if (typeof(content) != "string") {
257             contentType = 'application/x-www-form-urlencoded';
258             var components = [];
259             for (var key in content)
260                 components.push(key + '=' + escape(content[key]));
261             content = components.join('&');
262         }
263         sendHttpRequest(path, 'POST', contentType, content, function (error, response) {
264             assert.ifError(error);
265             callback(response);
266         });
267     }
268
269     this.queryAndFetchAll = function (query, parameters, callback) {
270         var client = connect();
271         client.query(query, parameters, function (error, result) {
272             setTimeout(function () {
273                 assert.ifError(error);
274                 callback(result.rows);
275             }, 0);
276         });
277     }
278
279     this.sha256 = function (data) {
280         var hash = crypto.createHash('sha256');
281         hash.update(data);
282         return hash.digest('hex');
283     }
284
285     this.notifyDone = function () { currentTestContext.done(); }
286 }
287
288 process.on('uncaughtException', function (error) {
289     if (!currentTestContext)
290         throw error;
291     currentTestContext.logError('Uncaught exception', error);
292     currentTestContext.done();
293 });
294
295 function sendHttpRequest(path, method, contentType, content, callback) {
296     var options = config('testServer');
297     options.path = path;
298     options.method = method;
299
300     var request = http.request(options, function (response) {
301         var responseText = '';
302         response.setEncoding('utf8');
303         response.on('data', function (chunk) { responseText += chunk; });
304         response.on('end', function () {
305             setTimeout(function () {
306                 callback(null, {statusCode: response.statusCode, responseText: responseText});
307             }, 0);
308         });
309     });
310     request.on('error', callback);
311     if (contentType)
312         request.setHeader('Content-Type', contentType);
313     if (content)
314         request.write(content);
315     request.end();
316 }
317
318 function TestContext(testGroup, testCase, callback) {
319     var failed = false;
320
321     this.description = function () {
322         return testGroup + ' ' + testCase;
323     }
324     this.done = function () {
325         if (!failed)
326             console.log('PASS');
327         callback();
328     }
329     this.logError = function (error, details) {
330         failed = true;
331         console.error(error, details);
332     }
333
334     process.stdout.write(this.description() + ': ');
335 }
336
337 main();