[Scripts] Fix missing variable warnings from svn-create-patch when there are untracke...
[WebKit.git] / Tools / Scripts / svn-create-patch
1 #!/usr/bin/env perl
2
3 # Copyright (C) 2005, 2006 Apple Inc.  All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 #
9 # 1.  Redistributions of source code must retain the above copyright
10 #     notice, this list of conditions and the following disclaimer. 
11 # 2.  Redistributions in binary form must reproduce the above copyright
12 #     notice, this list of conditions and the following disclaimer in the
13 #     documentation and/or other materials provided with the distribution. 
14 # 3.  Neither the name of Apple Inc. ("Apple") nor the names of
15 #     its contributors may be used to endorse or promote products derived
16 #     from this software without specific prior written permission. 
17 #
18 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28
29 # Extended "svn diff" script for WebKit Open Source Project, used to make patches.
30
31 # Differences from standard "svn diff":
32 #
33 #   Uses the real diff, not svn's built-in diff.
34 #   Always passes "-p" to diff so it will try to include function names.
35 #   Handles binary files (encoded as a base64 chunk of text).
36 #   Sorts the diffs alphabetically by text files, then binary files.
37 #   Handles copied and moved files.
38 #
39 # Missing features:
40 #
41 #   Handle copied and moved directories.
42
43 use strict;
44 use warnings;
45
46 use Config;
47 use File::Basename;
48 use File::Spec;
49 use File::stat;
50 use FindBin;
51 use Getopt::Long;
52 use lib $FindBin::Bin;
53 use MIME::Base64;
54 use POSIX qw(:errno_h);
55 use Time::gmtime;
56 use VCSUtils;
57
58 sub binarycmp($$);
59 sub diffOptionsForFile($);
60 sub findBaseUrl($);
61 sub findMimeType($;$);
62 sub findModificationType($);
63 sub findSourceFileAndRevision($);
64 sub generateDiff($$);
65 sub generateFileList($\%);
66 sub hunkHeaderLineRegExForFile($);
67 sub isBinaryMimeType($);
68 sub manufacturePatchForAdditionWithHistory($$);
69 sub numericcmp($$);
70 sub outputBinaryContent($);
71 sub patchpathcmp($$);
72 sub pathcmp($$);
73 sub processPaths(\@);
74 sub splitpath($);
75 sub testfilecmp($$);
76
77 $ENV{'LC_ALL'} = 'C';
78
79 my $showHelp;
80 my $checkWebKitStyle = 0;
81 my $ignoreChangelogs = 0;
82 my $verbose = 0;
83 my $devNull = File::Spec->devnull();
84
85 my $result = GetOptions(
86     "help"       => \$showHelp,
87     "ignore-changelogs" => \$ignoreChangelogs,
88     "style!" => \$checkWebKitStyle,
89     "verbose" => \$verbose,
90 );
91 if (!$result || $showHelp) {
92     print STDERR basename($0) . " [-h|--help] [-v|--verbose] [--ignore-changelogs] [--[no-]style] [svndir1 [svndir2 ...]]\n";
93     exit 1;
94 }
95
96 # Sort the diffs for easier reviewing.
97 my %paths = processPaths(@ARGV);
98
99 # Generate a list of files requiring diffs.
100 my %diffFiles;
101 for my $path (keys %paths) {
102     generateFileList($path, %diffFiles);
103 }
104
105 if ($verbose) {
106     if (%diffFiles) {
107         print STDERR "List of files for patch:\n";
108         for my $file (sort patchpathcmp values %diffFiles) {
109             print STDERR "  " . $file->{path} . "\n";
110         }
111     } else {
112         print STDERR "No files found for patch.\n";
113     }
114 }
115
116 my $svnRoot = determineSVNRoot();
117 my $prefix = chdirReturningRelativePath($svnRoot);
118
119 # Generate the diffs, in an order chosen for ease of reviewing.
120 for my $path (sort patchpathcmp values %diffFiles) {
121     generateDiff($path, $prefix);
122 }
123
124 if ($checkWebKitStyle) {
125     print STDERR "  Running check-webkit-style.\n  ";
126     system "$FindBin::Bin/check-webkit-style";
127 }
128
129 exit 0;
130
131 # Overall sort, considering multiple criteria.
132 sub patchpathcmp($$)
133 {
134     my ($a, $b) = @_;
135
136     # All binary files come after all non-binary files.
137     my $result = binarycmp($a, $b);
138     return $result if $result;
139
140     # All test files come after all non-test files.
141     $result = testfilecmp($a, $b);
142     return $result if $result;
143
144     # Final sort is a "smart" sort by directory and file name.
145     return pathcmp($a, $b);
146 }
147
148 # Sort so text files appear before binary files.
149 sub binarycmp($$)
150 {
151     my ($fileDataA, $fileDataB) = @_;
152     return $fileDataA->{isBinary} <=> $fileDataB->{isBinary};
153 }
154
155 sub diffOptionsForFile($)
156 {
157     my ($file) = @_;
158
159     my $options = "uap";
160
161     if (my $hunkHeaderLineRegEx = hunkHeaderLineRegExForFile($file)) {
162         $options .= "F'$hunkHeaderLineRegEx'";
163     }
164
165     return $options;
166 }
167
168 sub findBaseUrl($)
169 {
170     my ($infoPath) = @_;
171     my $baseUrl;
172     my $escapedInfoPath = escapeSubversionPath($infoPath);
173     
174     print STDERR "Performing \"svn info '$escapedInfoPath'\"\n" if $verbose;
175     
176     open INFO, "svn info '$escapedInfoPath' |" or die;
177     while (<INFO>) {
178         if (/^URL: (.+?)[\r\n]*$/) {
179             $baseUrl = $1;
180         }
181     }
182     close INFO;
183     return $baseUrl;
184 }
185
186 sub findMimeType($;$)
187 {
188     my ($file, $revision) = @_;
189     my $args = $revision ? "--revision $revision" : "";
190     my $escapedFile = escapeSubversionPath($file);
191
192     print STDERR "Performing \"svn propget svn:mime-type $args '$escapedFile' 2> $devNull\"\n" if $verbose;
193
194     open PROPGET, "svn propget svn:mime-type $args '$escapedFile' 2> $devNull |" or die;
195     my $mimeType = <PROPGET>;
196     close PROPGET;
197     # svn may output a different EOL sequence than $/, so avoid chomp.
198     if ($mimeType) {
199         $mimeType =~ s/[\r\n]+$//g;
200     }
201     return $mimeType;
202 }
203
204 sub findModificationType($)
205 {
206     my ($stat) = @_;
207     my $fileStat = substr($stat, 0, 1);
208     my $propertyStat = substr($stat, 1, 1);
209     if ($fileStat eq "A" || $fileStat eq "R") {
210         my $additionWithHistory = substr($stat, 3, 1);
211         return $additionWithHistory eq "+" ? "additionWithHistory" : "addition";
212     }
213     return "modification" if ($fileStat eq "M" || $propertyStat eq "M");
214     return "deletion" if ($fileStat eq "D");
215     return "conflicted" if ($fileStat eq "C");
216     return "untracked" if ($fileStat eq "?");
217     return "missing" if ($fileStat eq "!");
218     return "unknown";
219 }
220
221 sub findSourceFileAndRevision($)
222 {
223     my ($file) = @_;
224     my $baseUrl = findBaseUrl(".");
225     my $sourceFile;
226     my $sourceRevision;
227     my $escapedFile = escapeSubversionPath($file);
228     
229     print STDERR "Performing \"svn info '$escapedFile'\"\n" if $verbose;
230     
231     open INFO, "svn info '$escapedFile' |" or die;
232     while (<INFO>) {
233         if (/^Copied From URL: (.+?)[\r\n]*$/) {
234             $sourceFile = File::Spec->abs2rel($1, $baseUrl);
235         } elsif (/^Copied From Rev: ([0-9]+)/) {
236             $sourceRevision = $1;
237         }
238     }
239     close INFO;
240     return ($sourceFile, $sourceRevision);
241 }
242
243 sub generateDiff($$)
244 {
245     my ($fileData, $prefix) = @_;
246     my $file = File::Spec->catdir($prefix, $fileData->{path});
247     
248     if ($ignoreChangelogs && basename($file) eq "ChangeLog") {
249         return 0;
250     }
251     
252     my $patch = "";
253     my $isAdditionWithHistory = $fileData->{modificationType} eq "additionWithHistory";
254     if ($isAdditionWithHistory) {
255         manufacturePatchForAdditionWithHistory($fileData, $prefix);
256     }
257
258     my $diffOptions = diffOptionsForFile($file);
259     my $escapedFile = escapeSubversionPath($file);
260
261     print STDERR "Performing \"svn diff --diff-cmd diff -x -$diffOptions '$escapedFile'\"\n" if $verbose;
262
263     open DIFF, "svn diff --diff-cmd diff -x -$diffOptions '$escapedFile' |" or die;
264     while (<DIFF>) {
265         $patch .= $_;
266     }
267     close DIFF;
268     $patch = fixSVNPatchForAdditionWithHistory($patch) if $patch && $isAdditionWithHistory;
269     if (basename($file) eq "ChangeLog") {
270         my $changeLogHash = fixChangeLogPatch($patch);
271         $patch = $changeLogHash->{patch};   
272     }
273     print $patch;
274     if ($fileData->{isBinary}) {
275         print "\n" if ($patch && $patch =~ m/\n\S+$/m);
276         outputBinaryContent($file);
277     }
278 }
279
280 sub generateFileList($\%)
281 {
282     my ($statPath, $diffFiles) = @_;
283     my %testDirectories = map { $_ => 1 } qw(LayoutTests);
284     my $escapedStatPath = escapeSubversionPath($statPath);
285     my @deletedFiles;
286
287     print STDERR "Performing \"svn stat '$escapedStatPath'\"\n" if $verbose;
288
289     open STAT, "svn stat '$escapedStatPath' |" or die;
290     while (my $line = <STAT>) {
291         # svn may output a different EOL sequence than $/, so avoid chomp.
292         $line =~ s/[\r\n]+$//g;
293
294         # svn may output explanatory lines describing more detail about a file change
295         # e.g "    > moved to foo/bar.cpp". For now we ignore these lines.
296         next if $line =~ /^ +>/;
297
298         my $stat;
299         my $path;
300         if (isSVNVersion16OrNewer()) {
301             $stat = substr($line, 0, 8);
302             $path = substr($line, 8);
303         } else {
304             $stat = substr($line, 0, 7);
305             $path = substr($line, 7);
306         }
307
308         next if -d $path;
309
310         my $modificationType = findModificationType($stat);
311
312         if ($modificationType eq "missing") {
313             print STDERR "Missing file detected: '" . $path . "'. Aborting.\n";
314             exit -1;
315         }
316
317         if ($modificationType eq "conflicted") {
318             print STDERR "Conflicted file detected: '" . $path . "'. Aborting.\n";
319             exit -1;
320         }
321
322         if ($modificationType eq "unknown") {
323             print STDERR "File with unknown status detected: '" . $path . "' [" . $stat . "]. Aborting.\n";
324             exit -1;
325         }
326
327         if ($modificationType eq "untracked") {
328             print STDERR "Ignoring untracked file: '" . $path . "'\n";
329             next;
330         }
331
332         # svn diff -N doesn't work on svn 1.9, so only return top-level deletions.
333         if ($modificationType eq "deletion") {
334             push @deletedFiles, $path;
335             next;
336         }
337
338         $diffFiles->{$path}->{path} = $path;
339         $diffFiles->{$path}->{modificationType} = $modificationType;
340         $diffFiles->{$path}->{isBinary} = isBinaryMimeType($path);
341         $diffFiles->{$path}->{isTestFile} = exists $testDirectories{(File::Spec->splitdir($path))[0]} ? 1 : 0;
342         if ($modificationType eq "additionWithHistory") {
343             my ($sourceFile, $sourceRevision) = findSourceFileAndRevision($path);
344             $diffFiles->{$path}->{sourceFile} = $sourceFile;
345             $diffFiles->{$path}->{sourceRevision} = $sourceRevision;
346         }
347     }
348     close STAT;
349
350     foreach my $path (@deletedFiles) {
351         my $isInsideDeletedDirectory = 0;
352         foreach my $compare (@deletedFiles) {
353             next if $compare eq $path;
354             if (substr($path, 0, length($compare)) eq $compare) {
355                 $isInsideDeletedDirectory = 1;
356                 last;
357             }
358         }
359         next if $isInsideDeletedDirectory;
360         $diffFiles->{$path}->{path} = $path;
361         $diffFiles->{$path}->{modificationType} = "deletion";
362         $diffFiles->{$path}->{isBinary} = isBinaryMimeType($path);
363         $diffFiles->{$path}->{isTestFile} = exists $testDirectories{(File::Spec->splitdir($path))[0]} ? 1 : 0;
364     }
365 }
366
367 sub hunkHeaderLineRegExForFile($)
368 {
369     my ($file) = @_;
370
371     my $startOfObjCInterfaceRegEx = "@(implementation\\|interface\\|protocol)";
372     return "^[-+]\\|$startOfObjCInterfaceRegEx" if $file =~ /\.mm?$/;
373     return "^$startOfObjCInterfaceRegEx" if $file =~ /^(.*\/)?(mac|objc)\// && $file =~ /\.h$/;
374 }
375
376 sub isBinaryMimeType($)
377 {
378     my ($file) = @_;
379     my $mimeType = findMimeType($file);
380     return 0 if (!$mimeType || substr($mimeType, 0, 5) eq "text/");
381     return 1;
382 }
383
384 sub manufacturePatchForAdditionWithHistory($$)
385 {
386     my ($fileData, $prefix) = @_;
387
388     my $file = File::Spec->catdir($prefix, $fileData->{path});
389     my $sourceFile = File::Spec->catdir($prefix, $fileData->{sourceFile});
390     my $sourceRevision = $fileData->{sourceRevision};
391
392     print "Index: ${file}\n";
393     print "=" x 67, "\n";
394     print "--- ${file}\t(revision ${sourceRevision})\t(from ${sourceFile}:${sourceRevision})\n";
395     print "+++ ${file}\t(working copy)\n";
396
397     if ($fileData->{isBinary}) {
398         print "\nCannot display: file marked as a binary type.\n";
399         my $mimeType = findMimeType($file, $sourceRevision);
400         print "svn:mime-type = ${mimeType}\n\n";
401     } else {
402         my $escapedSourceFile = escapeSubversionPath($sourceFile);
403         
404         print STDERR "Performing \"svn diff -r 0:${sourceRevision} ${escapedSourceFile}\"\n" if $verbose;
405     
406         open DIFF, "svn diff -r 0:${sourceRevision} ${escapedSourceFile} |" or die;
407         my $count = 0;
408         while (<DIFF>) {
409             # Skip the diff header, since it was manufactured aboved.
410             next if ++$count < 5;
411             print $_;
412         }
413         close DIFF;
414     }
415 }
416
417 # Sort numeric parts of strings as numbers, other parts as strings.
418 # Makes 1.33 come after 1.3, which is cool.
419 sub numericcmp($$)
420 {
421     my ($aa, $bb) = @_;
422
423     my @a = split /(\d+)/, $aa;
424     my @b = split /(\d+)/, $bb;
425
426     # Compare one chunk at a time.
427     # Each chunk is either all numeric digits, or all not numeric digits.
428     while (@a && @b) {
429         my $a = shift @a;
430         my $b = shift @b;
431         
432         # Use numeric comparison if chunks are non-equal numbers.
433         return $a <=> $b if $a =~ /^\d/ && $b =~ /^\d/ && $a != $b;
434
435         # Use string comparison if chunks are any other kind of non-equal string.
436         return $a cmp $b if $a ne $b;
437     }
438     
439     # One of the two is now empty; compare lengths for result in this case.
440     return @a <=> @b;
441 }
442
443 sub outputBinaryContent($)
444 {
445     my ($path) = @_;
446     # Deletion
447     return if (! -e $path);
448     # Addition or Modification
449     my $buffer;
450     open BINARY, $path  or die;
451     while (read(BINARY, $buffer, 60*57)) {
452         print encode_base64($buffer);
453     }
454     close BINARY;
455     print "\n";
456 }
457
458 # Sort first by directory, then by file, so all paths in one directory are grouped
459 # rather than being interspersed with items from subdirectories.
460 # Use numericcmp to sort directory and filenames to make order logical.
461 # Also include a special case for ChangeLog, which comes first in any directory.
462 sub pathcmp($$)
463 {
464     my ($fileDataA, $fileDataB) = @_;
465
466     my ($dira, $namea) = splitpath($fileDataA->{path});
467     my ($dirb, $nameb) = splitpath($fileDataB->{path});
468
469     return numericcmp($dira, $dirb) if $dira ne $dirb;
470     return -1 if $namea eq "ChangeLog" && $nameb ne "ChangeLog";
471     return +1 if $namea ne "ChangeLog" && $nameb eq "ChangeLog";
472     return numericcmp($namea, $nameb);
473 }
474
475 sub processPaths(\@)
476 {
477     my ($paths) = @_;
478     return ("." => 1) if (!@{$paths});
479
480     my %result = ();
481
482     for my $file (@{$paths}) {
483         die "can't handle absolute paths like \"$file\"\n" if File::Spec->file_name_is_absolute($file);
484         die "can't handle empty string path\n" if $file eq "";
485         die "can't handle path with single quote in the name like \"$file\"\n" if $file =~ /'/; # ' (keep Xcode syntax highlighting happy)
486
487         my $untouchedFile = $file;
488
489         $file = canonicalizePath($file);
490
491         die "can't handle paths with .. like \"$untouchedFile\"\n" if $file =~ m|/\.\./|;
492
493         $result{$file} = 1;
494     }
495
496     return ("." => 1) if ($result{"."});
497
498     # Remove any paths that also have a parent listed.
499     for my $path (keys %result) {
500         for (my $parent = dirname($path); $parent ne '.'; $parent = dirname($parent)) {
501             if ($result{$parent}) {
502                 delete $result{$path};
503                 last;
504             }
505         }
506     }
507
508     return %result;
509 }
510
511 # Break up a path into the directory (with slash) and base name.
512 sub splitpath($)
513 {
514     my ($path) = @_;
515
516     my $pathSeparator = "/";
517     my $dirname = dirname($path) . $pathSeparator;
518     $dirname = "" if $dirname eq "." . $pathSeparator;
519
520     return ($dirname, basename($path));
521 }
522
523 # Sort so source code files appear before test files.
524 sub testfilecmp($$)
525 {
526     my ($fileDataA, $fileDataB) = @_;
527     return $fileDataA->{isTestFile} <=> $fileDataB->{isTestFile};
528 }
529