Build fixes. In particular, we were missing the code to generate JSONs in report...
[WebKit-https.git] / Websites / test-results / ChangeLog
1 2013-11-04  Ryosuke Niwa  <rniwa@webkit.org>
2
3         Build fixes. In particular, we were missing the code to generate JSONs in report.php :(
4
5         * public/api/report.php:
6         * public/include/test-results.php:
7
8 2013-11-04  Ryosuke Niwa  <rniwa@webkit.org>
9
10         Fix JSON generations on new flakiness dashboard
11         https://bugs.webkit.org/show_bug.cgi?id=123723
12
13         Reviewed by Andreas Kling.
14
15         Add is_flaky column on results table so that this column can be used to find flaky tests on a given builder
16         efficiently without having to through results for all tests in PHP. This column is updated in report.php
17         when a new build is added. Because is_flaky depends on the preceding and succeeding results, we must update
18         is_flaky flag on results for builds immediately before and after the new build as well.
19
20         To see why, suppose we had two consecutive results [PASS] [PASS]. If we were to insert [FAIL] result between
21         the two, those two results may also turn into flaky results if they were surrounded by [FAIL]. Similarly,
22         if we had [PASS] [FAIL] and the second result was marked flaky, inserting new [FAIL] must unmark it.
23
24
25         * init-database.sql: Added is_flaky column to results table with an index. Also added an index on
26         build_revisions.time as many queries filter results by this quantity. Also set the work_mem to 50MB avoid
27         disk thrashing while sorting results in various queries.
28
29         * public/api/failing-tests.php: Handle builder ids as well as names. Call generate() with failure types.
30         No longer generates *-failing.json since it's a subset of *-wrongexpectations.json to save time.
31
32         * public/api/report.php: Rewritten. Calls update_flakiness_after_inserting_build to update is_flaky flags
33         on the newly added results.
34         (store_results): Added.
35         (main): Added.
36
37         * public/include/test-results.php:
38         (ResultsJSONWriter):
39         (ResultsJSONWriter::add_results_for_test): Renamed from add_results_for_test_if_matches.
40         (ResultsJSONGenerator::generate): Takes the failure type. Instead of generating JSONs for all failure types
41         at once, generate one JSON for the specified type. We generate the list of test ids based on the failure type
42         and query results based on that. This dramatically cuts down the time spent in PHP.
43         (ResultsJSONGenerator::latest_build): Added.
44         (ResultsJSONGenerator::write_jsons): Takes single writer now.
45         (update_flakiness_for_build): Added.
46         (update_flakiness_after_inserting_build): Added.
47
48         * public/index.html:
49         (TestResultsView._populateBuilderPane): Emulate *-failing.json upon *-wrongexpectations.json.
50         (TestResultsView.fetchFailingTestsForBuilder): Ditto.
51
52         * public/main.css: Minor style tweaks.
53         (.testResults): Extend the border that wraps the test results as needed.
54         (.tooltip): Don't wrap text inside tooltips.
55
56 2013-10-26  Ryosuke Niwa  <rniwa@webkit.org>
57
58         Make new bug link in flakiness dashboard configurable
59         https://bugs.webkit.org/show_bug.cgi?id=123386
60
61         Reviewed by Alexey Proskuryakov.
62
63         * config.json: Added Bugzilla as the default destination for new bugs.
64         * public/api/manifest.php: Include newBugLinks in the manifest.
65         * public/index.html:
66         (TestResultsView): Initialize _newBugLinks.
67         (TestResultsView.setNewBugLinks): Added.
68         (TestResultsView._populateTestPane):
69         (TestResultsView._createTestResultRow): Replaced the hard-coded Bugzilla URL by the code
70         to generate hyper-links based on _newBugLinks. Also added a nullity check while formatting
71         revision checks so that we don't blow up when some build doesn't contain all revision info.
72         (TestResultsView._populateBuilderPane):
73
74 2013-10-26  Ryosuke Niwa  <rniwa@webkit.org>
75
76         New flakiness dashboard should support substring matching
77         https://bugs.webkit.org/show_bug.cgi?id=123393
78
79         Reviewed by Alexey Proskuryakov.
80
81         Addressed the use cases by
82         1. Always showing the candidate even when there is exactly one test matching the current value.
83         2. Adding all tests that match the current value upon the user pressing enter key.
84
85         * public/index.html:
86         (fetchManifest): Add all tests that match the current value. Confirm whether the user really
87         want to add all the tests when there are more than 15 tests to add.
88         * public/js/autocompleter.js:
89         (Autocompleter.prototype.filterCandidates): Extracted from _updateCandidates.
90         (Autocompleter.prototype._updateCandidates): Show the candidate window even when there is
91         exactly one test that matches the criteria so that the user can select this test.
92
93 2013-10-26  Ryosuke Niwa  <rniwa@webkit.org>
94
95         New flakiness dashboard shouldn't treat tests with right expectations as failing
96         https://bugs.webkit.org/show_bug.cgi?id=123385
97
98         Reviewed by Alexey Proskuryakov.
99
100         We define failing tests to be tests with wrong expectations whose actual results are not PASS
101         since tests with TEXT, IMAGE, etc... failures do not turn the bots red as long as the expectation
102         of the same type is specified in TestExpectation files.
103
104         * public/include/test-results.php:
105         (FailingResultsJSONWriter): Inherit from WrongExpectationsResultsJSONWriter.
106
107 2013-10-25  Ryosuke Niwa  <rniwa@webkit.org>
108
109         Build fix. The query results weren't sorted by the latest commit time,
110         yielding wrong set of tests to be listed in the builder pane.
111
112         * public/include/test-results.php:
113
114 2013-10-25  Ryosuke Niwa  <rniwa@webkit.org>
115
116         Links in new flakiness dashboard could benefit from tooltips
117         https://bugs.webkit.org/show_bug.cgi?id=123381
118
119         Reviewed by Alexey Proskuryakov.
120
121         Add title content attribute on each hyperlink in the builder pane.
122
123         * public/index.html:
124         (TestResultsView._populateBuilderPane):
125
126 2013-10-25  Ryosuke Niwa  <rniwa@webkit.org>
127
128         Commit the right change.
129
130         * public/index.html:
131
132 2013-10-25  Ryosuke Niwa  <rniwa@webkit.org>
133
134         The new flakiness dashboard should sort builder and test names
135         https://bugs.webkit.org/show_bug.cgi?id=123363
136
137         Reviewed by Simon Fraser.
138
139         Sort the forgotten builders in the menu.
140
141         * public/index.html:
142
143 2013-10-25  Ryosuke Niwa  <rniwa@webkit.org>
144
145         The new flakiness dashboard should sort builder and test names
146         https://bugs.webkit.org/show_bug.cgi?id=123363
147
148         Reviewed by Simon Fraser.
149
150         Sort builders and tests by their name in each pane.
151
152         * public/index.html:
153         (TestResultsView._populateTestPane): Lexicologically sort builders by their name.
154         (TestResultsView._sortObjectsByName): Added.
155         (TestResultsView._populateBuilderPane): Lexicologically sort builders by their name.
156
157 2013-10-25  Ryosuke Niwa  <rniwa@webkit.org>
158
159         Merge revision columns in flakiness dashboard
160         https://bugs.webkit.org/show_bug.cgi?id=123360
161
162         Reviewed by Simon Fraser.
163
164         Merge revision numbers into one cell separated by /, and clearly label them as "latest revisions".
165         Also add colors for missing & audio failures so that they won't be an empty cell.
166
167         * public/index.html:
168         (TestResultsView._createTestResultHeader): Create a single th for the list of repository names.
169         (TestResultsView._createTestResultRow): Use single td for all revision numbers.
170         * public/js/build.js:
171         (.this.formattedRevision): Don't prefix revision numbers with '@' when we're not in the tooltip.
172         * public/main.css:
173         (.resultsTable .AUDIO a): Added.
174         (.resultsTable .MISSING a): Added.
175
176 2013-10-25  Ryosuke Niwa  <rniwa@webkit.org>
177
178         One more build fix. Put each latest revision information in an actual td.
179
180         * public/index.html:
181
182 2013-10-25  Ryosuke Niwa  <rniwa@webkit.org>
183
184         Yet another set of build fixes.
185
186         1. Manually strip / from revisions JSON if there is any.
187         2. Suppress warnings from ob_end_flush.
188         3. Allow "+" in actual and expected results as used in "TEXT+IMAGE".
189
190         * public/api/report.php:
191         * public/include/test-results.php:
192
193 2013-10-25  Ryosuke Niwa  <rniwa@webkit.org>
194
195         Another build fix. Move .htaccess to public.
196
197         * .htaccess: Removed.
198         * public/.htaccess: Copied from .htaccess.
199
200 2013-10-25  Ryosuke Niwa  <rniwa@webkit.org>
201
202         It turns out that the current instruction only works on Mountain Lion.
203
204         Also fixed some typos.
205
206         * Install.md:
207
208 2013-10-24  Ryosuke Niwa  <rniwa@webkit.org>
209
210         Add an instruction on how to setup test-results app
211         https://bugs.webkit.org/show_bug.cgi?id=123321
212
213         Rubber-stamped by Stephanie Lewis.
214
215         Added Install.md and updated config.json accordingly.
216
217         Also moved init-database.sql out of public/include since it doesn't need to be accessible via httpd.
218
219         * Install.md: Added.
220         * config.json:
221         * init-database.sql: Moved from public/include/init-database.sql.
222
223 2013-10-24  Ryosuke Niwa  <rniwa@webkit.org>
224
225         Move everything except ChangeLog and config.json into public directory.
226         https://bugs.webkit.org/show_bug.cgi?id=123319
227
228         Rubber-stamped by Stephanie Lewis.
229
230         * admin: Removed.
231         * admin/admin.css: Removed.
232         * admin/builders.php: Removed.
233         * admin/index.php: Removed.
234         * admin/repositories.php: Removed.
235         * api: Removed.
236         * api/failing-tests.php: Removed.
237         * api/manifest.php: Removed.
238         * api/report.php: Removed.
239         * api/results.php: Removed.
240         * common.css: Removed.
241         * config.json: Copied from include/config.json.
242         * include: Removed.
243         * include/admin-footer.php: Removed.
244         * include/admin-header.php: Removed.
245         * include/config.json: Removed.
246         * include/db.php: Removed.
247         * include/init-database.sql: Removed.
248         * include/json-shared.php: Removed.
249         * include/test-results.php: Removed.
250         * index.html: Removed.
251         * js: Removed.
252         * js/autocompleter.js: Removed.
253         * js/build.js: Removed.
254         * js/dom.js: Removed.
255         * main.css: Removed.
256         * public: Added.
257         * public/admin: Copied from admin.
258         * public/api: Copied from api.
259         * public/common.css: Copied from common.css.
260         * public/include: Copied from include.
261         * public/include/config.json: Removed.
262         * public/include/db.php:
263         * public/index.html: Copied from index.html.
264         * public/js: Copied from js.
265         * public/main.css: Copied from main.css.
266
267 2013-10-24  Ryosuke Niwa  <rniwa@webkit.org>
268
269         Showing lists of flaky tests for a builder takes too long
270         https://bugs.webkit.org/show_bug.cgi?id=123311
271
272         Reviewed by Sam Weinig.
273
274         Generate JSONs for tests failing, flaky, or with wrong expectation at the time a builder reports results
275         instead when the frontend requests to those those results since it takes multiple seconds or minutes to
276         generate those JSON files.
277
278         * api/failing-tests.php: Moved and renamed to manually generate all JSON files for a given builder.
279         (main):
280
281         * api/report.php: Manually flush and end the request (to avoid blocking run-webkit-tests on the other side
282         for minutes), then generate JSONs for tests that are failing, are flaky, and have wrong expectations.
283
284         * api/results.php: Merge format_result_rows here since it's not used anywhere else.
285
286         * include/config.json: Added the path to the data directory into which JSON files are generated.
287
288         * include/db.php:
289         (configPath): Takes a relative path value from config.json, and resolves it.
290
291         * include/json-shared.php:
292         (echo_success): Extracted from exit_with_success.
293         (exit_with_success):
294
295         * include/test-results.php:
296         (add_builder): Extracted from add_build.
297         (add_build):
298         (ResultsJSONWriter): Extracted from api/failing-tests.php.
299         (ResultsJSONWriter.__construct):
300         (ResultsJSONWriter.start):
301         (ResultsJSONWriter.end):
302         (ResultsJSONWriter.add_results_for_test_if_matches):
303         (ResultsJSONWriter.pass_for_failure_type):
304         (FailingResultsJSONWriter): Extracted from index.html's TestResultsView._matchesFailureType.
305         (FailingResultsJSONWriter.__construct):
306         (FailingResultsJSONWriter.pass_for_failure_type):
307         (FlakyResultsJSONWriter): Ditto.
308         (FlakyResultsJSONWriter.__construct):
309         (FlakyResultsJSONWriter.pass_for_failure_type):
310         (WrongExpectationsResultsJSONWriter): Ditto.
311         (WrongExpectationsResultsJSONWriter.__construct):
312         (WrongExpectationsResultsJSONWriter.pass_for_failure_type):
313         (ResultsJSONGenerator): Ditto.
314         (ResultsJSONGenerator.__construct):
315         (ResultsJSONGenerator.generate):
316         (ResultsJSONGenerator.open_json_for_failure_type):
317         (ResultsJSONGenerator.write_jsons):
318
319         * index.html:
320         (TestResultsView):
321         (TestResultsView.setBuilders):
322         (TestResultsView._createResultCell): Add a hyperlink to results.html in the tooltip.
323         (TestResultsView.fetchFailingTestsForBuilder): Fetch the generated JSON files.
324
325 2013-10-23  Ryosuke Niwa  <rniwa@webkit.org>
326
327         Reverted erroneously committed changes from the previous commit.
328
329         * index.html:
330
331 2013-10-23  Ryosuke Niwa  <rniwa@webkit.org>
332
333         Clicking on a test name on the new flakiness dashboard should add a new test pane
334         https://bugs.webkit.org/show_bug.cgi?id=123194
335
336         Reviewed by Simon Fraser.
337
338         Added a new click handler on each test name inside the builder test view add a new test pane.
339         Moved the old trac link to a right-arrow inline SVG icon.
340
341         Also tweaked the style so that the builder test view looks different from other test panes.
342
343         * index.html:
344         (TestResultsView._urlFromTest): Extracted from TestResultsView._linkifiedTestName.
345         (TestResultsView._populateBuilderPane): Fetch the test when its name is clicked.
346         Added a circled right arrow for the old trac link.
347         * main.css: Tweaked the style to move the rounded border around the builder test view to be
348         around the form controls to clearly differentiate it from a regular test pane.
349
350 2013-10-22  Ryosuke Niwa  <rniwa@webkit.org>
351
352         New flakiness dashboard's test pane should show the latest WebKit revision for each builder
353         https://bugs.webkit.org/show_bug.cgi?id=123189
354
355         Reviewed by Simon Fraser.
356
357         * index.html:
358         (TestResultsView._populateTestPane): Call _createTestResultHeader and _createTestResultRow with
359         a list of repository information.
360         (TestResultsView._createTestResultHeader): Optionally creates headers for a list of repositories.
361         (TestResultsView._createTestResultRow): Add a hyperlinked revision information for each builder.
362         Also add a hyperlink to file a Bugzilla bug when there is no bug associated with the test already.
363         * js/build.js:
364         (Build.formattedRevision): Extracted from Build.formattedRevisions.
365         (Build.formattedRevisions):
366
367 2013-10-22  Ryosuke Niwa  <rniwa@webkit.org>
368
369         Make tables on the new flakiness dashboard sortable
370         https://bugs.webkit.org/show_bug.cgi?id=123141
371
372         Reviewed by Simon Fraser.
373
374         Use jquery.tablesorter.js to make test and builder tables sortable. The jquery plugin is already used by run-perf-tests.
375
376         * index.html:
377         (TestResultsView._populateTestPane): Add tablesorter to the class name and wrap tr's inside a tbody so that tablesorter
378         could sort them.
379         (TestResultsView._populateBuilderPane): Ditto.
380         * main.css:
381         (.resultsTable thead): Use cursor: pointer to signify the fact it's clickable.
382         (.resultsTable th): Don't repeat arrows.
383         (.resultsTable th.headerSortUp): Inline SVG up arrow.
384         (.resultsTable th.headerSortDown): Inline SVG down arrow.
385
386 2013-10-21  Ryosuke Niwa  <rniwa@webkit.org>
387
388         New flakiness dashboard should hyperlink test names, WebKit revisions, and bubbles
389         https://bugs.webkit.org/show_bug.cgi?id=123134
390
391         Reviewed by Stephanie Lewis.
392
393         Copied admin.css, admin-header.php, admin-footer.php, builders.php, repositories.php from WebKit Perf Monitor.
394         (Unfortunately WebKit Perf Monitor hasn't been committed into WebKit repository just yet.)
395
396         Updated various parts of index.html to linkify test names, build numbers, and bubbles (to results page).
397
398         * admin/admin.css: Added.
399         * admin/builders.php: Added.
400         * admin/index.php: Removed the duplicated code now that it uses admin-header.php.
401         * admin/repositories.php: Added.
402         * api/manifest.php: Use camelCase for blame_url and build_url to be consistent with other JSON properties.
403         Also exported testCategories from config so that we can linkify test names in the dashboard.
404         * include/admin-footer.php: Added.
405         * include/admin-header.php: Added.
406         * include/config.json: Added test categories. This avoids hard-coding the URL to trac in php/js.
407         * include/init-database.sql: Added name and build_url to builders table and category to tests.
408         * include/test-results.php: Assume the test category to be LayoutTest for now.
409
410         * index.html:
411         (TestResultsView): Initialize _builders, _slaves, _repositories, _testCategories as dictionaries as intended.
412         (TestResultsView.setTestCategories): Added.
413         (TestResultsView._createResultCell): Dynamically resolve URLs of results page and and build page.
414         (TestResultsView._populateTestPane): Linkify the test name. Unfortunately we don't have a test object anywhere.
415         We need to figure out a way to find the test object here eventually. For now, hard-coding "LayoutTest" works.
416         (TestResultsView._linkifiedTestName): Added.
417         (TestResultsView._createBuildsAndComputeSlownessOfResults): Takes builderId to set "builder" property on each
418         result object as it's used by Build class.
419         (TestResultsView._populateBuilderPane):
420         (fetchManigest):
421
422         * js/build.js:
423         (Build.buildUrl): Support $builderName so that we don't have to keep repeating builder names in the database.
424         (Build.revision): Don't access [0] if revisions[repositoryId] was undefined.
425
426 2013-10-21  Ryosuke Niwa  <rniwa@webkit.org>
427
428         New flakiness dashboard should align results by revision numbers
429         https://bugs.webkit.org/show_bug.cgi?id=123129
430
431         Reviewed by Tim Horton.
432
433         * include/config.json: Specify the default cache time to be 10 minutes.
434         * include/json-shared.php: Added Expires and Cache-Control headers. It's configurable via config.json.
435         * index.html:
436         (TestResultsView._createResultCell): Don't put '-' in a result cell without time.
437         (TestResultsView._populateTestPane): Create an array of build times ordered from the newest to the oldest.
438         Not that build.time() is the newest commit time among all repository for each result. e.g. if we had
439         both WebKit and Safari repository information in a given result, the newer of the two will be used.
440         (TestResultsView._createTestResultHeader): Added.
441         (TestResultsView._createBuildsAndComputeSlownessOfResults): Extracted from _createTestResultRow so
442         that _populateTestPane could use Build object before calling _createTestResultRow.
443         (TestResultsView._createTestResultRow): Takes buildTimes. Insert an empty cell for a build time if
444         the current row doesn't contain that a result for that build time.
445         (TestResultsView._populateBuilderPane):
446         * main.css: Tweaked the style so that bubbles are aligned vertically without '-'.
447         (.resultsTable):
448         (.resultsTable thead th):
449         (.resultsTable .resultCell):
450         (.resultsTable a):
451         (.resultsTable span a):
452
453 2013-10-21  Ryosuke Niwa  <rniwa@webkit.org>
454
455         New flakiness dashboard show test time, modifiers, and flaky tests
456         https://bugs.webkit.org/show_bug.cgi?id=123119
457
458         Reviewed by Tim Horton.
459
460         * api/failing-tests.php: Manually serialize each row in the results to avoid hitting the memory limit.
461         * include/db.php:
462         (Database::query): Added.
463         (Database::fetch_next_row): Added.
464         * include/init-database.sql: Added modifiers and time columns to results table.
465         * include/test-results.php:
466         (store_test_results): Update start_time and end_time to the union of the new interval and the existing interval.
467         (recursively_add_test_results): Handle empty $full_name to eliminate the loop over tests in store_test_results.
468         Also verify that each test name, expected and actual results conform to the specific format to prevent XSS.
469         Also use insert_row instead of select_or_insert_row to avoid issuing an unnecessary SQL query.
470         (format_result): Extracted from format_result_rows. Used in failing-tests.php.
471         * index.html:
472         (TestResultsView): Added _currentBuilderFailureType and _currentBuilderDays.
473         (TestResultsView._createResultCell): Show the test time and the expected result.
474         (TestResultsView._createTestResultRow): Compute the slowest run and also round time to tenth of second for time
475         less than 10s or second if it's more than 10s so that the test time will always be shown in two digits.
476         Also show the bug number and the latest expected result on the left columns after linkifying the bug numbers. 
477         (TestResultsView._matchesFailureType): Added. Determines whether results is of a particular failure type.
478         (TestResultsView._populateBuilderPane):
479         (TestResultsView.fetchFailingTestsForBuilder): Store the failure type such as flaky, wrongtestexpectations.
480         (TestResultsView.updateLocationHash):
481         (TestResultsView.loadTestsFromLocationHash):
482         (fetchManifest):
483         * js/dom.js:
484         (element): appendChild if an item is a Node. Otherwise, e.g. integer, create a text node out of toString() call.
485         * main.css: Updated styles.
486
487 2013-10-18  Ryosuke Niwa  <rniwa@webkit.org>
488
489         New flakiness dashboard should support showing the failing tests per builder
490         https://bugs.webkit.org/show_bug.cgi?id=123011
491
492         Reviewed by Timothy Hatcher.
493
494         Added the feature. Also did some refactoring to add this feature.
495
496         * ChangeLog: Added.
497         * api/failing-tests.php: Added.
498         * api/manifest.php: Removed the code to make maps by id. The work is now done in index.html.
499         * api/results.php:
500         * common.css: Added. Extracted from index.html.
501         * include/test-results.php: Extracted parse_revisions_array and format_result_rows from results.php.
502         * index.html:
503         * main.css: Added.
504         (TestResultsView.setAvailableTests): Added.
505         (TestResultsView.showTooltip): Fixed the code to compute x and y coordinates of the tooltip to take
506         scrolled positions into account.
507         (TestResultsView._createTestResultRow): Extracted from _populateTestPane.
508         (TestResultsView.fetchTest): Added the code to show "Loading..." in the pane while loading the JSON.
509         (TestResultsView.fetchTests): Respect the doNotUpdateHash flag.
510         (TestResultsView._populateBuilderPane): Added.
511         (TestResultsView.fetchFailingTestsForBuilder): Added.
512         (TestResultsView.updateLocationHash): Serialize builder & builderDays.
513         (TestResultsView.locationHashChanged): Don't delete existing test panes since that's now done in
514         loadTestsFromLocationHash.
515         (TestResultsView.loadTestsFromLocationHash): Take care of both 'tests' and 'builder' components.
516         (fetchManifest): Setup the UI to select a builder.
517