REGRESSION (r236481): Move soft-linking of LocalAuthentication.framework out of Local...
[WebKit-https.git] / Tools / Scripts / update-webkit-dependency
1 #!/usr/bin/env perl
2
3 # Copyright (C) 2005, 2006, 2007 Apple Inc.  All rights reserved.
4 # Copyright (C) 2011 Carl Lobo.  All rights reserved.
5 # Copyright (C) 2016 Jeremy Zerfas.  All rights reserved.
6 #
7 # Redistribution and use in source and binary forms, with or without
8 # modification, are permitted provided that the following conditions
9 # are met:
10 #
11 # 1.  Redistributions of source code must retain the above copyright
12 #     notice, this list of conditions and the following disclaimer.
13 # 2.  Redistributions in binary form must reproduce the above copyright
14 #     notice, this list of conditions and the following disclaimer in the
15 #     documentation and/or other materials provided with the distribution.
16 # 3.  Neither the name of Apple Inc. ("Apple") nor the names of
17 #     its contributors may be used to endorse or promote products derived
18 #     from this software without specific prior written permission.
19 #
20 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
21 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
22 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
23 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
24 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
25 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
26 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
27 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
28 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
29 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
30
31 # Updates a dependency for the development environment.
32
33 use strict;
34 use warnings;
35
36 use Archive::Zip qw( :ERROR_CODES );
37 use File::Copy;
38 use File::Find;
39 use File::Spec;
40 use File::Temp ();
41 use FindBin;
42 use HTTP::Date qw(str2time time2str);
43 use HTTP::Request;
44 use LWP::Simple;
45 use LWP::UserAgent;
46 use POSIX;
47 use lib $FindBin::Bin;
48 use webkitdirs;
49
50 if ($#ARGV != 1) {
51     die <<EOF;
52 Usage:
53         update-webkit-dependancy <URL with the dependancy zip file> <*prefix dir inside zip without filename>
54
55         * If filename is requirements.zip and the contents of the zip file are "requirements/x" then prefix = "."
56         * If filename is xyz.zip and the contents of the zip file are xyz/abc/x" then prefix = "abc"
57         * x is lib or include or bin.
58 EOF
59 }
60
61 sub getLibraryName($);
62
63 # Time in seconds that the new zip file must be newer than the old for us to
64 # consider them to be different. If the difference in modification time is less
65 # than this threshold, we assume that the files are the same. We need this
66 # because the zip file is served from a set of mirrors with slightly different
67 # Last-Modified times.
68 my $newnessThreshold = 30;
69
70 my $libsURL = shift;
71 my $prefixInZip = shift;
72 my $sourceDir = sourceDir();
73 my $file = getLibraryName($libsURL);
74 my $zipFile = "$file.zip";
75 my $webkitLibrariesDir = $ENV{'WEBKIT_LIBRARIES'} || File::Spec->catdir($sourceDir, "WebKitLibraries", "win");
76 my $tmpRelativeDir = File::Temp::tempdir("webkitlibsXXXXXXX", TMPDIR => 1, CLEANUP => 1);
77 my $tmpAbsDir = File::Spec->rel2abs($tmpRelativeDir);
78 my $ua = LWP::UserAgent->new();
79 $ua->env_proxy;
80
81 print "Checking for newer version of $zipFile...\n";
82
83 # Ideally we could just use a previous modification time and/or ETag to do a single conditional request for the file,
84 # however there are some problems with this approach. Some servers may not support conditional requests (Dropbox and
85 # GitHub don't currently support conditional requests using If-Modified-Since headers plus they also don't emit
86 # Last-Modified headers either). If mirrors are being used, some servers may have different ETags for the same file.
87 # Some servers may not implement conditional requests properly. Etc...
88 #
89 # Instead we will assume that we need to download a new version of the file unless we can be reasonably certain that we
90 # already previously got an up to date copy of the file. We can do this by making a quick, small request to check for
91 # the presence of Last-Modified and/or ETag headers (or alternatively a separate *.headers file that contains a
92 # Last-Modified header) and see if they match values that we may have gotten previously.
93
94 # It would be nice to be able to just use a HEAD request for this initial check but developer.apple.com returns 401
95 # errors for those requests. Instead we can just set a size limit for a GET request (which we can also set the range for
96 # to request just the first byte) so that we don't have to retrieve the entire file.
97 $ua->max_size(0);
98 my $response = $ua->get($libsURL, Accept => '*/*', Range => "bytes=0-0");
99 $ua->max_size(undef);
100
101 if (! $response->is_success) {
102     print STDERR "Could not access $libsURL:\n";
103     print STDERR $response->message, "\n";
104     print STDERR $response->headers_as_string, "\n";
105     print STDERR "Please ensure that $libsURL is reachable";
106     if ($libsURL =~ /^https/i) {
107         print STDERR " and that Perl can use LWP::Simple to connect to HTTPS URLs.\n";
108         print STDERR "You may have to run \"\$ cpan LWP::Protocol::https\"";
109     }
110     print STDERR ".\n";
111
112     if (-f File::Spec->catfile($webkitLibrariesDir, "$file.headers")) {
113         print STDERR "Falling back to existing version of $file.\n";
114         exit 0;
115     } else {
116         print STDERR "No existing version of $file to fall back to.\n";
117         exit 1;
118     }
119 }
120
121 my $contentType = $response->header('Content-Type');
122 # Try to determine the file size based on the Content-Range or Content-Length headers. Normally we will need to use the
123 # Content-Range header since we are just requesting a range but if the server doesn't support ranges then we will try
124 # using the Content-Length header instead. Also note that neither header is affected by using max_size() to limit the
125 # response size and the Content-Length header also shouldn't be affected from the use of HTTP compression since LWP
126 # doesn't use it by default.
127 my $contentLength = $response->header('Content-Length');
128 # If the Content-Range header is defined and has a number after the slash, then that's the file size we want.
129 if (defined $response->header('Content-Range') && $response->header('Content-Range') =~ /^.+\/(\d+)/) {
130     $contentLength=$1;
131 }
132 my $lastModified = $response->header('Last-Modified');
133 my $etag = $response->header('ETag');
134
135 print "Located a file";
136 print " of type $contentType" if defined $contentType;
137 print " of size $contentLength" if defined $contentLength;
138 print ".\n";
139
140 # Get any old headers that are available.
141 my $oldLastModified;
142 my $oldETag;
143 if (open OLDHEADERSFILE, "<", File::Spec->catfile($webkitLibrariesDir, "$file.headers")) {
144     local $/ = undef;
145     my $oldHeaders = <OLDHEADERSFILE>;
146     close OLDHEADERSFILE;
147
148     ($oldLastModified) = $oldHeaders =~ /^Last-Modified: (.+)$/mi;
149     ($oldETag) = $oldHeaders =~ /^ETag: (.+)$/mi;
150 }
151
152 # If we have matching old and new ETags, then that is a very good indication that we already had gotten an up to date
153 # copy of the file previously. On the other hand if we have ETags that don't match, that doesn't necessarily indicate
154 # that the files are different since different servers may compute different ETags for the same file. If they don't
155 # match we will continue to see if we can skip downloading the file via other tests.
156 if (defined $etag && defined $oldETag && $etag eq $oldETag) {
157     print "Current $file is up to date.\n";
158     exit 0;
159 }
160
161 # If on the initial request we didn't get a Last-Modified header, then we will try getting the Last-Modified header from
162 # a separate *.headers file that may have been put on the server.
163 if (! defined $lastModified) {
164     my $headerURL = $libsURL;
165     $headerURL =~ s/\.zip$/\.headers/;
166
167     $response = $ua->get($headerURL);
168
169     if (! $response->is_success) {
170         print STDERR "Could not access $headerURL:\n";
171         print STDERR $response->message, "\n";
172         print STDERR $response->headers_as_string, "\n";
173         print STDERR "Please ensure that $headerURL is reachable";
174         if ($headerURL =~ /^https/i) {
175             print STDERR " and that Perl can use LWP::Simple to connect to HTTPS URLs.\n";
176             print STDERR "You may have to run \"\$ cpan LWP::Protocol::https\"";
177         }
178         print STDERR ".\n";
179     }
180
181     ($lastModified) = $response->content =~ /^Last-Modified: (.+)$/mi;
182 }
183
184 my $lastModifiedTime = str2time($lastModified);
185 my $oldLastModifiedTime = str2time($oldLastModified);
186 if (defined $lastModifiedTime && defined $oldLastModifiedTime
187     && abs($lastModifiedTime-$oldLastModifiedTime) < $newnessThreshold) {
188     print "Current $file is up to date.\n";
189     exit 0;
190 }
191
192 print "Downloading $zipFile...\n\n";
193 print "$libsURL\n";
194 my $request = HTTP::Request->new(GET => $libsURL);
195 $request->header(Accept => "*/*");
196 $response = $ua->request($request, File::Spec->catfile($tmpAbsDir, $zipFile));
197 die "Couldn't download $zipFile!" if is_error($response->code);
198
199 my $zip = Archive::Zip->new(File::Spec->catfile($tmpAbsDir, $zipFile));
200
201 # Make sure the zip file contains a directory with the same name as the zip file (minus the extension) and a prefix
202 # directory if applicable.
203 my $prefixDirectoryPathInZipFile = "$file/".(($prefixInZip eq ".") ? "" : "$prefixInZip/");
204 if (! $zip->memberNamed($prefixDirectoryPathInZipFile)) {
205     print STDERR "Couldn't find $prefixDirectoryPathInZipFile directory in zip file.\n";
206
207     if (-f File::Spec->catfile($webkitLibrariesDir, "$file.headers")) {
208         print STDERR "Falling back to existing version of $file.\n";
209         exit 0;
210     } else {
211         print STDERR "No existing version of $file to fall back to.\n";
212         exit 1;
213     }
214 }
215
216 my $result = $zip->extractTree("", $tmpAbsDir);
217 die "Couldn't unzip $zipFile." if $result != AZ_OK;
218
219 print "\nInstalling $file...\n";
220
221 sub wanted
222 {
223     my $relativeName = File::Spec->abs2rel($File::Find::name, File::Spec->catdir($tmpAbsDir, $file, $prefixInZip));
224     my $destination = File::Spec->catfile($webkitLibrariesDir, $relativeName);
225
226     if (-d $_) {
227         mkdir $destination;
228         return;
229     }
230
231     copy($_, $destination);
232 }
233
234 File::Find::find(\&wanted, File::Spec->catfile($tmpAbsDir, $file));
235
236 if (open HEADERSFILE, ">", File::Spec->catfile($webkitLibrariesDir, "$file.headers")) {
237     print HEADERSFILE "Last-Modified: $lastModified\n" if defined $lastModified;
238     print HEADERSFILE "ETag: $etag\n" if defined $etag;
239     close HEADERSFILE;
240 } else {
241     print STDERR "Couldn't write $file.headers to $webkitLibrariesDir.\n"
242 }
243
244 print "The $file has been sucessfully installed in\n $webkitLibrariesDir\n";
245 exit;
246
247 sub getLibraryName($)
248 {
249     my $url = shift;
250     $url =~ m#/([^/]+)\.zip$#;
251     return $1;
252 }