bisect-builds should print Trac 'changeset' URL if only one build is detected
[WebKit-https.git] / Tools / Scripts / bisect-builds
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2007, 2008, 2009, 2011, 2012, 2013 Apple Inc.  All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 #
9 # 1.  Redistributions of source code must retain the above copyright
10 #     notice, this list of conditions and the following disclaimer. 
11 # 2.  Redistributions in binary form must reproduce the above copyright
12 #     notice, this list of conditions and the following disclaimer in the
13 #     documentation and/or other materials provided with the distribution. 
14 # 3.  Neither the name of Apple Inc. ("Apple") nor the names of
15 #     its contributors may be used to endorse or promote products derived
16 #     from this software without specific prior written permission. 
17 #
18 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 # This script attempts to find the point at which a regression (or progression)
30 # of behavior occurred by searching WebKit nightly builds.
31
32 # To override the location where the nightly builds are downloaded or the path
33 # to the Safari web browser, create a ~/.bisect-buildsrc file with one or more of
34 # the following lines (use "~/" to specify a path from your home directory):
35 #
36 # $branch = "branch-name";
37 # $nightlyDownloadDirectory = "~/path/to/nightly/downloads";
38 # $safariPath = "/path/to/Safari.app";
39
40 use strict;
41
42 use File::Basename;
43 use File::Path;
44 use File::Spec;
45 use File::Temp qw(tempfile);
46 use FindBin;
47 use Getopt::Long;
48 use Time::HiRes qw(usleep);
49
50 use lib $FindBin::Bin;
51 use webkitdirs qw(safariPathFromSafariBundle);
52
53 sub createTempFile($);
54 sub downloadNightly($$$);
55 sub findMacOSXVersion();
56 sub findNearestNightlyIndex(\@$$);
57 sub findSafariVersion($);
58 sub loadSettings();
59 sub makeNightlyList($$$$);
60 sub max($$) { return $_[0] > $_[1] ? $_[0] : $_[1]; }
61 sub mountAndRunNightly($$$$);
62 sub parseRevisions($$;$);
63 sub printStatus($$$);
64 sub printTracLink($$);
65 sub promptForTest($);
66
67 loadSettings();
68
69 my %validBranches = map { $_ => 1 } qw(feature-branch trunk);
70 my $branch = $Settings::branch;
71 my $nightlyDownloadDirectory = $Settings::nightlyDownloadDirectory;
72 my $safariPath = $Settings::safariPath;
73
74 my @nightlies;
75
76 my $isProgression;
77 my $localOnly;
78 my @revisions;
79 my $sanityCheck;
80 my $showHelp;
81 my $testURL;
82
83 # Fix up -r switches in @ARGV
84 @ARGV = map { /^(-r)(.+)$/ ? ($1, $2) : $_ } @ARGV;
85
86 my $result = GetOptions(
87     "b|branch=s"             => \$branch,
88     "d|download-directory=s" => \$nightlyDownloadDirectory,
89     "h|help"                 => \$showHelp,
90     "l|local!"               => \$localOnly,
91     "p|progression!"         => \$isProgression,
92     "r|revisions=s"          => \&parseRevisions,
93     "safari-path=s"          => \$safariPath,
94     "s|sanity-check!"        => \$sanityCheck,
95 );
96 $testURL = shift @ARGV;
97
98 $branch = "feature-branch" if $branch eq "feature";
99 if (!exists $validBranches{$branch}) {
100     print STDERR "ERROR: Invalid branch '$branch'\n";
101     $showHelp = 1;
102 }
103
104 if (!$result || $showHelp || scalar(@ARGV) > 0) {
105     print STDERR "Search WebKit nightly builds for changes in behavior.\n";
106     print STDERR "Usage: " . basename($0) . " [options] [url]\n";
107     print STDERR <<END;
108   [-b|--branch name]             name of the nightly build branch (default: trunk)
109   [-d|--download-directory dir]  nightly build download directory (default: ~/Library/Caches/WebKit-Nightlies)
110   [-h|--help]                    show this help message
111   [-l|--local]                   only use local (already downloaded) nightlies
112   [-p|--progression]             searching for a progression, not a regression
113   [-r|--revision M[:N]]          specify starting (and optional ending) revisions to search
114   [--safari-path path]           path to Safari application bundle (default: /Applications/Safari.app)
115   [-s|--sanity-check]            verify both starting and ending revisions before bisecting
116 END
117     exit 1;
118 }
119
120 my $nightlyWebSite = "http://nightly.webkit.org";
121 my $nightlyBuildsURLBase = $nightlyWebSite . File::Spec->catdir("/builds", $branch, "mac");
122 my $nightlyFilesURLBase = $nightlyWebSite . File::Spec->catdir("/files", $branch, "mac");
123
124 $nightlyDownloadDirectory = glob($nightlyDownloadDirectory) if $nightlyDownloadDirectory =~ /^~/;
125 $safariPath = glob($safariPath) if $safariPath =~ /^~/;
126 $safariPath = safariPathFromSafariBundle($safariPath) if $safariPath =~ m#\.app/*#;
127
128 $nightlyDownloadDirectory = File::Spec->catdir($nightlyDownloadDirectory, $branch);
129 if (! -d $nightlyDownloadDirectory) {
130     mkpath($nightlyDownloadDirectory, 0, 0755) || die "Could not create $nightlyDownloadDirectory: $!";
131 }
132
133 @nightlies = makeNightlyList($localOnly, $nightlyDownloadDirectory, findMacOSXVersion(), findSafariVersion($safariPath));
134
135 my $startIndex = $revisions[0] ? findNearestNightlyIndex(@nightlies, $revisions[0], 'ceil') : 0;
136 my $endIndex = $revisions[1] ? findNearestNightlyIndex(@nightlies, $revisions[1], 'floor') : $#nightlies;
137
138 my $tempFile = createTempFile($testURL);
139
140 if ($sanityCheck) {
141     my $didReproduceBug;
142
143     do {
144         printf "\nChecking starting revision r%s...\n",
145             $nightlies[$startIndex]->{rev};
146         downloadNightly($nightlies[$startIndex]->{file}, $nightlyFilesURLBase, $nightlyDownloadDirectory);
147         mountAndRunNightly($nightlies[$startIndex]->{file}, $nightlyDownloadDirectory, $safariPath, $tempFile);
148         $didReproduceBug = promptForTest($nightlies[$startIndex]->{rev});
149         $startIndex-- if $didReproduceBug < 0;
150     } while ($didReproduceBug < 0);
151     die "ERROR: Bug reproduced in starting revision!  Do you need to test an earlier revision or for a progression?"
152         if $didReproduceBug && !$isProgression;
153     die "ERROR: Bug not reproduced in starting revision!  Do you need to test an earlier revision or for a regression?"
154         if !$didReproduceBug && $isProgression;
155
156     do {
157         printf "\nChecking ending revision r%s...\n",
158             $nightlies[$endIndex]->{rev};
159         downloadNightly($nightlies[$endIndex]->{file}, $nightlyFilesURLBase, $nightlyDownloadDirectory);
160         mountAndRunNightly($nightlies[$endIndex]->{file}, $nightlyDownloadDirectory, $safariPath, $tempFile);
161         $didReproduceBug = promptForTest($nightlies[$endIndex]->{rev});
162         $endIndex++ if $didReproduceBug < 0;
163     } while ($didReproduceBug < 0);
164     die "ERROR: Bug NOT reproduced in ending revision!  Do you need to test a later revision or for a progression?"
165         if !$didReproduceBug && !$isProgression;
166     die "ERROR: Bug reproduced in ending revision!  Do you need to test a later revision or for a regression?"
167         if $didReproduceBug && $isProgression;
168 }
169
170 printStatus($nightlies[$startIndex]->{rev}, $nightlies[$endIndex]->{rev}, $isProgression);
171
172 my %brokenRevisions = ();
173 while (abs($endIndex - $startIndex) > 1) {
174     my $index = $startIndex + int(($endIndex - $startIndex) / 2);
175
176     my $didReproduceBug;
177     do {
178         if (exists $nightlies[$index]) {
179             my $buildsLeft = max(max(0, $endIndex - $index - 1), max(0, $index - $startIndex - 1));
180             my $plural = $buildsLeft == 1 ? "" : "s";
181             printf "\nChecking revision r%s (%d build%s left to test after this)...\n", $nightlies[$index]->{rev}, $buildsLeft, $plural;
182             downloadNightly($nightlies[$index]->{file}, $nightlyFilesURLBase, $nightlyDownloadDirectory);
183             mountAndRunNightly($nightlies[$index]->{file}, $nightlyDownloadDirectory, $safariPath, $tempFile);
184             $didReproduceBug = promptForTest($nightlies[$index]->{rev});
185         }
186         if ($didReproduceBug < 0) {
187             $brokenRevisions{$nightlies[$index]->{rev}} = $nightlies[$index]->{file};
188             delete $nightlies[$index];
189             $endIndex--;
190             if (scalar(keys %brokenRevisions) % 2 == 0) {
191                 # Even tries to bisect to the left
192                 $index = int(($startIndex + $index) / 2);
193             } else {
194                 # Odd tries to bisect to the right
195                 $index = int(($index + $endIndex) / 2);
196             }
197         }
198     } while ($didReproduceBug < 0);
199
200     if ($didReproduceBug && !$isProgression || !$didReproduceBug && $isProgression) {
201         $endIndex = $index;
202     } else {
203         $startIndex = $index;
204     }
205
206     print "\nBroken revisions skipped: r" . join(", r", keys %brokenRevisions) . "\n"
207         if scalar keys %brokenRevisions > 0;
208     printStatus($nightlies[$startIndex]->{rev}, $nightlies[$endIndex]->{rev}, $isProgression);
209 }
210
211 printTracLink($nightlies[$startIndex]->{rev}, $nightlies[$endIndex]->{rev});
212
213 unlink $tempFile if $tempFile;
214
215 exit 0;
216
217 sub createTempFile($)
218 {
219     my ($url) = @_;
220
221     return undef if !$url;
222
223     my ($fh, $tempFile) = tempfile(
224         basename($0) . "-XXXXXXXX",
225         DIR => File::Spec->tmpdir(),
226         SUFFIX => ".html",
227         UNLINK => 0,
228     );
229     print $fh "<meta http-equiv=\"refresh\" content=\"0; $url\">\n";
230     close($fh);
231
232     return $tempFile;
233 }
234
235 sub downloadNightly($$$)
236 {
237     my ($filename, $urlBase, $directory) = @_;
238     my $path = File::Spec->catfile($directory, $filename);
239     if (! -f $path) {
240         print "Downloading $filename to $directory...\n";
241         `curl -# -o '$path' '$urlBase/$filename'`;
242     }
243 }
244
245 sub findMacOSXVersion()
246 {
247     my $version;
248     open(SW_VERS, "-|", "/usr/bin/sw_vers") || die;
249     while (<SW_VERS>) {
250         $version = $1 if /^ProductVersion:\s+([^\s]+)/;
251     }
252     close(SW_VERS);
253     return $version;
254 }
255
256 sub findNearestNightlyIndex(\@$$)
257 {
258     my ($nightlies, $revision, $round) = @_;
259
260     my $lowIndex = 0;
261     my $highIndex = $#{$nightlies};
262
263     return $highIndex if uc($revision) eq 'HEAD' || $revision >= $nightlies->[$highIndex]->{rev};
264     return $lowIndex if $revision <= $nightlies->[$lowIndex]->{rev};
265
266     while (abs($highIndex - $lowIndex) > 1) {
267         my $index = $lowIndex + int(($highIndex - $lowIndex) / 2);
268         if ($revision < $nightlies->[$index]->{rev}) {
269             $highIndex = $index;
270         } elsif ($revision > $nightlies->[$index]->{rev}) {
271             $lowIndex = $index;
272         } else {
273             return $index;
274         }
275     }
276
277     return ($round eq "floor") ? $lowIndex : $highIndex;
278 }
279
280 sub findSafariVersion($)
281 {
282     my ($path) = @_;
283     my $versionPlist = File::Spec->catdir(dirname(dirname($path)), "version.plist");
284     my $version;
285     open(PLIST, "< $versionPlist") || die;
286     while (<PLIST>) {
287         if (m#^\s*<key>CFBundleShortVersionString</key>#) {
288             $version = <PLIST>;
289             $version =~ s#^\s*<string>([0-9.]+)[^<]*</string>\s*[\r\n]*#$1#;
290         }
291     }
292     close(PLIST);
293     return $version;
294 }
295
296 sub loadSettings()
297 {
298     package Settings;
299
300     our $branch = "trunk";
301     our $nightlyDownloadDirectory = File::Spec->catdir($ENV{HOME}, "Library/Caches/WebKit-Nightlies");
302     our $safariPath = "/Applications/Safari.app";
303
304     my $rcfile = File::Spec->catdir($ENV{HOME}, ".bisect-buildsrc");
305     return if !-f $rcfile;
306
307     my $result = do $rcfile;
308     die "Could not parse $rcfile: $@" if $@;
309 }
310
311 sub makeNightlyList($$$$)
312 {
313     my ($useLocalFiles, $localDirectory, $macOSXVersion, $safariVersion) = @_;
314     my @files;
315
316     if ($useLocalFiles) {
317         opendir(DIR, $localDirectory) || die "$!";
318         foreach my $file (readdir(DIR)) {
319             if ($file =~ /^WebKit-SVN-r([0-9]+)\.dmg$/) {
320                 push(@files, +{ rev => $1, file => $file });
321             }
322         }
323         closedir(DIR);
324     } else {
325         open(NIGHTLIES, "curl -s $nightlyBuildsURLBase/all |") || die;
326
327         while (my $line = <NIGHTLIES>) {
328             chomp $line;
329             my ($revision, $timestamp, $url) = split(/,/, $line);
330             my $nightly = basename($url);
331             push(@files, +{ rev => $revision, file => $nightly });
332         }
333         close(NIGHTLIES);
334     }
335
336     if (eval "v$macOSXVersion" ge v10.5) {
337         if ($safariVersion eq "4 Public Beta") {
338             @files = grep { $_->{rev} >= 39682 } @files;
339         } elsif (eval "v$safariVersion" ge v3.2) {
340             @files = grep { $_->{rev} >= 37348 } @files;
341         } elsif (eval "v$safariVersion" ge v3.1) {
342             @files = grep { $_->{rev} >= 29711 } @files;
343         } elsif (eval "v$safariVersion" ge v3.0) {
344             @files = grep { $_->{rev} >= 25124 } @files;
345         } elsif (eval "v$safariVersion" ge v2.0) {
346             @files = grep { $_->{rev} >= 19594 } @files;
347         } else {
348             die "Requires Safari 2.0 or newer";
349         }
350     } elsif (eval "v$macOSXVersion" ge v10.4) {
351         if ($safariVersion eq "4 Public Beta") {
352             @files = grep { $_->{rev} >= 39682 } @files;
353         } elsif (eval "v$safariVersion" ge v3.2) {
354             @files = grep { $_->{rev} >= 37348 } @files;
355         } elsif (eval "v$safariVersion" ge v3.1) {
356             @files = grep { $_->{rev} >= 29711 } @files;
357         } elsif (eval "v$safariVersion" ge v3.0) {
358             @files = grep { $_->{rev} >= 19992 } @files;
359         } elsif (eval "v$safariVersion" ge v2.0) {
360             @files = grep { $_->{rev} >= 11976 } @files;
361         } else {
362             die "Requires Safari 2.0 or newer";
363         }
364     } else {
365         die "Requires Mac OS X 10.4 (Tiger) or 10.5 (Leopard)";
366     }
367
368     my $nightlycmp = sub { return $a->{rev} <=> $b->{rev}; };
369
370     return sort $nightlycmp @files;
371 }
372
373 sub mountAndRunNightly($$$$)
374 {
375     my ($filename, $directory, $safari, $tempFile) = @_;
376     my $mountPath = "/Volumes/WebKit";
377     my $webkitApp = File::Spec->catfile($mountPath, "WebKit.app");
378     my $diskImage = File::Spec->catfile($directory, $filename);
379     my $devNull = File::Spec->devnull();
380
381     my $i = 0;
382     while (-e $mountPath) {
383         $i++;
384         usleep 100 if $i > 1;
385         `hdiutil detach '$mountPath' 2> $devNull`;
386         die "Could not unmount $diskImage at $mountPath" if $i > 100;
387     }
388     die "Can't mount $diskImage: $mountPath already exists!" if -e $mountPath;
389
390     print "Mounting disk image and running WebKit...\n";
391     `hdiutil attach '$diskImage'`;
392     $i = 0;
393     while (! -e $webkitApp) {
394         usleep 100;
395         $i++;
396         die "Could not mount $diskImage at $mountPath" if $i > 100;
397     }
398
399     my $frameworkPath;
400     if (-d "/Volumes/WebKit/WebKit.app/Contents/Frameworks") {
401         my $osXVersion = join('.', (split(/\./, findMacOSXVersion()))[0..1]);
402         $frameworkPath = "/Volumes/WebKit/WebKit.app/Contents/Frameworks/$osXVersion";
403     } else {
404         $frameworkPath = "/Volumes/WebKit/WebKit.app/Contents/Resources";
405     }
406
407     $tempFile ||= "";
408     `DYLD_FRAMEWORK_PATH=$frameworkPath WEBKIT_UNSET_DYLD_FRAMEWORK_PATH=YES $safari $tempFile`;
409
410     `hdiutil detach '$mountPath' 2> $devNull`;
411 }
412
413 sub parseRevisions($$;$)
414 {
415     my ($optionName, $value, $ignored) = @_;
416
417     if ($value =~ /^r?([0-9]+|HEAD):?$/i) {
418         push(@revisions, $1);
419         die "Too many revision arguments specified" if scalar @revisions > 2;
420     } elsif ($value =~ /^r?([0-9]+):?r?([0-9]+|HEAD)$/i) {
421         $revisions[0] = $1;
422         $revisions[1] = $2;
423     } else {
424         die "Unknown revision '$value':  expected 'M' or 'M:N'";
425     }
426 }
427
428 sub printStatus($$$)
429 {
430     my ($startRevision, $endRevision, $isProgression) = @_;
431     printf "\n%s: r%s  %s: r%s\n",
432         $isProgression ? "Fails" : "Works", $startRevision,
433         $isProgression ? "Works" : "Fails", $endRevision;
434 }
435
436 sub printTracLink($$)
437 {
438     my ($startRevision, $endRevision) = @_;
439     if ($startRevision + 1 == $endRevision) {
440         printf("http://trac.webkit.org/changeset/%s\n", $endRevision);
441     } else {
442         printf("http://trac.webkit.org/log/trunk/?rev=%s&stop_rev=%s\n", $endRevision, $startRevision + 1);
443     }
444 }
445
446 sub promptForTest($)
447 {
448     my ($revision) = @_;
449     print "Did the bug reproduce in r$revision (yes/no/broken)? ";
450     my $answer = <STDIN>;
451     return 1 if $answer =~ /^(1|y.*)$/i;
452     return -1 if $answer =~ /^(-1|b.*)$/i; # Broken
453     return 0;
454 }
455