Websites/perf.webkit.org/run-tests.js

   1 #!/usr/local/bin/node
   2
   3 var assert = require('assert');
   4 var crypto = require('crypto');
   5 var fs = require('fs');
   6 var http = require('http');
   7 var path = require('path');
   8 var vm = require('vm');
   9
  10 function connect(keepAlive) {
  11     var pg = require('pg');
  12     var database = config('database');
  13     var connectionString = 'tcp://' + database.username + ':' + database.password + '@' + database.host + ':' + database.port
  14         + '/' + database.name;
  15
  16     var client = new pg.Client(connectionString);
  17     if (!keepAlive) {
  18         client.on('drain', function () {
  19             client.end();
  20             client = undefined;
  21         });
  22     }
  23     client.connect();
  24
  25     return client;
  26 }
  27
  28 function pathToDatabseSQL(relativePath) {
  29     return path.resolve(__dirname, 'init-database.sql');
  30 }
  31
  32 function pathToTests(testName) {
  33     return testName ? path.resolve(__dirname, 'tests', testName) : path.resolve(__dirname, 'tests');
  34 }
  35
  36 var configurationJSON = require('./config.json');
  37 function config(key) {
  38     return configurationJSON[key];
  39 }
  40
  41 function TaskQueue() {
  42     var queue = [];
  43     var numberOfRemainingTasks = 0;
  44     var emptyQueueCallback;
  45
  46     function startTasksInQueue() {
  47         if (!queue.length)
  48             return emptyQueueCallback();
  49
  50         var swappedQueue = queue;
  51         queue = [];
  52
  53         // Increase the counter before the loop in the case taskCallback is called synchronously.
  54         numberOfRemainingTasks += swappedQueue.length;
  55         for (var i = 0; i < swappedQueue.length; ++i)
  56             swappedQueue[i](null, taskCallback);
  57     }
  58
  59     function taskCallback(error) {
  60         // FIXME: Handle error.
  61         console.assert(numberOfRemainingTasks > 0);
  62         numberOfRemainingTasks--;
  63         if (!numberOfRemainingTasks)
  64             setTimeout(startTasksInQueue, 0);
  65     }
  66
  67     this.addTask = function (task) { queue.push(task); }
  68     this.start = function (callback) {
  69         emptyQueueCallback = callback;
  70         startTasksInQueue();
  71     }
  72 }
  73
  74 function SerializedTaskQueue() {
  75     var queue = [];
  76
  77     function executeNextTask(error) {
  78         // FIXME: Handle error.
  79         var callback = queue.pop();
  80         setTimeout(function () { callback(null, executeNextTask); }, 0);
  81     }
  82
  83     this.addTask = function (task) { queue.push(task); }
  84     this.start = function (callback) {
  85         queue.push(callback);
  86         queue.reverse();
  87         executeNextTask();
  88     }
  89 }
  90
  91 function main() {
  92     var client = connect(true);
  93     confirmUserWantsDatabaseToBeInitializedIfNeeded(client, function (error, shouldContinue) {
  94         if (error)
  95             console.error(error);
  96
  97         if (error || !shouldContinue) {
  98             client.end();
  99             process.exit(1);
 100             return;
 101         }
 102
 103         initializeDatabase(client, function (error) {
 104             if (error) {
 105                 console.error('Failed to initialize the database', error);
 106                 client.end();
 107                 process.exit(1);
 108             }
 109
 110             var testCaseQueue = new SerializedTaskQueue();
 111             var testFileQueue = new SerializedTaskQueue();
 112             fs.readdirSync(pathToTests()).map(function (testFile) {
 113                 if (!testFile.match(/.js$/))
 114                     return;
 115                 testFileQueue.addTask(function (error, callback) {
 116                     var testContent = fs.readFileSync(pathToTests(testFile), 'utf-8');
 117                     var environment = new TestEnvironment(testCaseQueue);
 118                     vm.runInNewContext(testContent, environment, pathToTests(testFile));
 119                     callback();
 120                 });
 121             });
 122             testFileQueue.start(function () {
 123                 client.end();
 124                 testCaseQueue.start(function () {
 125                     console.log('DONE');
 126                 });
 127             });
 128         });
 129     });
 130 }
 131
 132 function confirmUserWantsDatabaseToBeInitializedIfNeeded(client, callback) {
 133     function fetchTableNames(error, callback) {
 134         if (error)
 135             return callback(error);
 136
 137         client.query('SELECT table_name FROM information_schema.tables WHERE table_type = \'BASE TABLE\' and table_schema = \'public\'', function (error, result) {
 138             if (error)
 139                 return callback(error);
 140             callback(null, result.rows.map(function (row) { return row['table_name']; }));
 141         });
 142     }
 143
 144     function findNonEmptyTable(error, list, callback) {
 145         if (error || !list.length)
 146             return callback(error);
 147
 148         var tableName = list.shift();
 149         client.query('SELECT COUNT(*) FROM ' + tableName + ' LIMIT 1', function (error, result) {
 150             if (error)
 151                 return callback(error);
 152
 153             if (result.rows[0]['count'])
 154                 return callback(null, tableName);
 155
 156             findNonEmptyTable(null, list, callback);
 157         });
 158     }
 159
 160     fetchTableNames(null, function (error, tableNames) {
 161         if (error)
 162             return callback(error, false);
 163
 164         findNonEmptyTable(null, tableNames, function (error, nonEmptyTable) {
 165             if (error)
 166                 return callback(error, false);
 167
 168             if (!nonEmptyTable)
 169                 return callback(null, true);
 170
 171             console.warn('Table ' + nonEmptyTable + ' is not empty but running tests will drop all tables.');
 172             askYesOrNoQuestion(null, 'Do you really want to continue?', callback);
 173         });
 174     });
 175 }
 176
 177 function askYesOrNoQuestion(error, question, callback) {
 178     if (error)
 179         return callback(error);
 180
 181     process.stdout.write(question + ' (y/n):');
 182     process.stdin.resume();
 183     process.stdin.setEncoding('utf-8');
 184     process.stdin.on('data', function (line) {
 185         line = line.trim();
 186         if (line === 'y') {
 187             process.stdin.pause();
 188             callback(null, true);
 189         } else if (line === 'n') {
 190             process.stdin.pause();
 191             callback(null, false);
 192         } else
 193             console.warn('Invalid input:', line);
 194     });
 195 }
 196
 197 function initializeDatabase(client, callback) {
 198     var commaSeparatedSqlStatements = fs.readFileSync(pathToDatabseSQL(), "utf8");
 199
 200     var firstError;
 201     var queue = new TaskQueue();
 202     commaSeparatedSqlStatements.split(/;\s*/).forEach(function (statement) {
 203         queue.addTask(function (error, callback) {
 204             client.query(statement, function (error) {
 205                 if (error && !firstError)
 206                     firstError = error;
 207                 callback();
 208             });
 209         })
 210     });
 211
 212     queue.start(function () { callback(firstError); });
 213 }
 214
 215 var currentTestContext;
 216 function TestEnvironment(testCaseQueue) {
 217     var currentTestGroup;
 218
 219     this.assert = assert;
 220     this.console = console;
 221
 222     // describe("~", function () {
 223     //     it("~", function () { assert(true); });
 224     // });
 225     this.describe = function (testGroup, callback) {
 226         currentTestGroup = testGroup;
 227         callback();
 228     }
 229
 230     this.it = function (testCaseDescription, testCase) {
 231         testCaseQueue.addTask(function (error, callback) {
 232             currentTestContext = new TestContext(currentTestGroup, testCaseDescription, function () {
 233                 currentTestContext = null;
 234                 initializeDatabase(connect(), callback);
 235             });
 236             testCase();
 237         });
 238     }
 239
 240     this.postJSON = function (path, content, callback) {
 241         sendHttpRequest(path, 'POST', 'application/json', JSON.stringify(content), function (error, response) {
 242             assert.ifError(error);
 243             callback(response);
 244         });
 245     }
 246
 247     this.httpGet = function (path, callback) {
 248         sendHttpRequest(path, 'GET', null, '', function (error, response) {
 249             assert.ifError(error);
 250             callback(response);
 251         });
 252     }
 253
 254     this.httpPost= function (path, content, callback) {
 255         var contentType = null;
 256         if (typeof(content) != "string") {
 257             contentType = 'application/x-www-form-urlencoded';
 258             var components = [];
 259             for (var key in content)
 260                 components.push(key + '=' + escape(content[key]));
 261             content = components.join('&');
 262         }
 263         sendHttpRequest(path, 'POST', contentType, content, function (error, response) {
 264             assert.ifError(error);
 265             callback(response);
 266         });
 267     }
 268
 269     this.queryAndFetchAll = function (query, parameters, callback) {
 270         var client = connect();
 271         client.query(query, parameters, function (error, result) {
 272             setTimeout(function () {
 273                 assert.ifError(error);
 274                 callback(result.rows);
 275             }, 0);
 276         });
 277     }
 278
 279     this.sha256 = function (data) {
 280         var hash = crypto.createHash('sha256');
 281         hash.update(data);
 282         return hash.digest('hex');
 283     }
 284
 285     this.notifyDone = function () { currentTestContext.done(); }
 286 }
 287
 288 process.on('uncaughtException', function (error) {
 289     if (!currentTestContext)
 290         throw error;
 291     currentTestContext.logError('Uncaught exception', error);
 292     currentTestContext.done();
 293 });
 294
 295 function sendHttpRequest(path, method, contentType, content, callback) {
 296     var options = config('testServer');
 297     options.path = path;
 298     options.method = method;
 299
 300     var request = http.request(options, function (response) {
 301         var responseText = '';
 302         response.setEncoding('utf8');
 303         response.on('data', function (chunk) { responseText += chunk; });
 304         response.on('end', function () {
 305             setTimeout(function () {
 306                 callback(null, {statusCode: response.statusCode, responseText: responseText});
 307             }, 0);
 308         });
 309     });
 310     request.on('error', callback);
 311     if (contentType)
 312         request.setHeader('Content-Type', contentType);
 313     if (content)
 314         request.write(content);
 315     request.end();
 316 }
 317
 318 function TestContext(testGroup, testCase, callback) {
 319     var failed = false;
 320
 321     this.description = function () {
 322         return testGroup + ' ' + testCase;
 323     }
 324     this.done = function () {
 325         if (!failed)
 326             console.log('PASS');
 327         callback();
 328     }
 329     this.logError = function (error, details) {
 330         failed = true;
 331         console.error(error, details);
 332     }
 333
 334     process.stdout.write(this.description() + ': ');
 335 }
 336
 337 main();