Check in LLVM 3.6.2 binary drops for El Capitan
[WebKit-https.git] / Tools / Scripts / copy-webkitlibraries-to-product-directory
1 #!/usr/bin/perl -w
2
3 # Copyright (C) 2005, 2008, 2010, 2011, 2012, 2013, 2014 Apple Inc. All rights reserved.
4 #
5 # Redistribution and use in source and binary forms, with or without
6 # modification, are permitted provided that the following conditions
7 # are met:
8 #
9 # 1.  Redistributions of source code must retain the above copyright
10 #     notice, this list of conditions and the following disclaimer. 
11 # 2.  Redistributions in binary form must reproduce the above copyright
12 #     notice, this list of conditions and the following disclaimer in the
13 #     documentation and/or other materials provided with the distribution. 
14 #
15 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
16 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
17 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
18 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
19 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
20 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
21 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
22 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
23 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
24 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
25
26 use strict;
27 use File::Spec;
28 use FindBin;
29 use Getopt::Long qw(:config pass_through);
30 use lib $FindBin::Bin;
31 use webkitdirs;
32
33 my $showHelp = 0;
34 my $llvm = 0;
35 my $wksi = 0;
36 my $clean = 0;
37 my $llvmIncludePackage = "";
38 my $llvmLibraryPackage = "";
39 my $useFullLibPaths = 0;
40 my $preferSystemLLVMOverDrops = 0;
41 my $llvmSubdirectoryName = "llvm";
42 my $llvmPrefix = "/usr/local/LLVMForJavaScriptCore";
43 my $osxVersion;
44 my $force = 0;
45
46 my $programName = basename($0);
47 my $usage = <<EOF;
48 Usage: $programName [options]
49   --help                        Show this help message
50   --[no-]llvm                   Toggle copying LLVM drops (default: $llvm)
51   --[no-]wksi                   Toggle copying WebKitSystemInterface drops (default: $wksi)
52   --clean                       Clean the libraries (default: $clean)
53   --use-llvm-includes=<path>    Get the LLVM inludes package from <path>
54   --use-llvm-libraries=<path>   Get the LLVM libraries package from <path>
55   --[no-]use-full-lib-paths     Toggle using full library paths
56   --[no-]prefer-system-llvm     Toggle preferring the system LLVM over the binary drops (default: $preferSystemLLVMOverDrops)
57   --llvm-subdirectory=<name>    Set the name of the LLVM subdirectory to search for (default: $llvmSubdirectoryName)
58   --llvm-prefix=<path>          Set the prefix into which LLVM is installed (default: $llvmPrefix)
59   --sdk=<sdk>                   Use a specific Xcode SDK
60   --device                      Use the current iphoneos.internal SDK (iOS only)
61   --simulator                   Use the current iphonesimulator SDK (iOS only)
62   --osx-version=<version>       Set the OS X version to use when deciding what to copy.
63   --[no-]force                  Toggle forcing the copy - i.e. ignoring timestamps (default: $force)
64 EOF
65
66 GetOptions(
67     'help' => \$showHelp,
68     'llvm!' => \$llvm,
69     'wksi!' => \$wksi,
70     'clean' => \$clean,
71     'use-llvm-includes=s' => \$llvmIncludePackage,
72     'use-llvm-libraries=s' => \$llvmLibraryPackage,
73     'use-full-lib-paths!' => \$useFullLibPaths,
74     'prefer-system-llvm!' => \$preferSystemLLVMOverDrops,
75     'llvm-subdirectory=s' => \$llvmSubdirectoryName,
76     'llvm-prefix=s' => \$llvmPrefix,
77     'osx-version=s' => \$osxVersion,
78     'force!' => \$force
79 );
80
81 if ($showHelp) {
82    print STDERR $usage;
83    exit 1;
84 }
85
86 determineXcodeSDK();
87
88 my $productDir = shift @ARGV;
89 if ($productDir) {
90     $productDir = File::Spec->rel2abs($productDir);
91 } else {
92     $productDir = $ENV{BUILT_PRODUCTS_DIR} || productDir();
93 }
94
95 if (!$osxVersion) {
96     $osxVersion = `sw_vers -productVersion | cut -d. -f-2`;
97     chomp($osxVersion);
98 }
99
100 chdirWebKit();
101
102 sub executeRanlib($)
103 {
104     my ($library) = @_;
105     my @args;
106     push @args, ("-sdk", xcodeSDK()) if xcodeSDK();
107     push @args, "ranlib";
108     push @args, "-no_warning_for_no_symbols" if isIOSWebKit();
109     system("xcrun", @args, $library) == 0 or die;
110 }
111
112 sub unpackIfNecessary
113 {
114     my ($targetDir, $sampleFile, $package, $hasLibraries) = @_;
115     if ($force || !-e $sampleFile || -M $sampleFile > -M $package) {
116         print "Unpacking $package into $targetDir\n";
117         (system("tar -C $targetDir -xmf $package") == 0) or die;
118         if ($hasLibraries) {
119             foreach my $library (`tar -tf $package`) {
120                 chomp $library;
121                 print "   Ranlib $library\n";
122                 executeRanlib($targetDir . "/" . $library);
123             }
124         }
125         return 1;
126     }
127     return 0;
128 }
129
130 sub dittoHeaders
131 {
132     my ($srcHeader, $header) = @_;
133     if ($force || !-e $header || -M $header > -M $srcHeader) {
134         print "Updating $header\n";
135         (system("ditto", $srcHeader, $header) == 0) or die;
136     }
137 }
138
139 if ($wksi) {
140     (system("mkdir", "-p", "$productDir/usr/local/include") == 0) or die;
141     
142     my $libraryDir = $useFullLibPaths ? "$productDir/usr/local/lib" : $productDir;
143     (system("mkdir", "-p", $libraryDir) == 0) or die;
144
145     my @librariesToCopy;
146     if (isIOSWebKit()) {
147         push(@librariesToCopy, (
148             "libWebKitSystemInterfaceIOSDevice8.1.a",
149             "libWebKitSystemInterfaceIOSSimulator8.1.a",
150             "libWebKitSystemInterfaceIOSDevice8.2.a",
151             "libWebKitSystemInterfaceIOSSimulator8.2.a",
152             "libWebKitSystemInterfaceIOSDevice8.3.a",
153             "libWebKitSystemInterfaceIOSSimulator8.3.a",
154             "libWebKitSystemInterfaceIOSDevice8.4.a",
155             "libWebKitSystemInterfaceIOSSimulator8.4.a",
156         ));
157     } else {
158         push(@librariesToCopy, (
159             "libWebKitSystemInterfaceMavericks.a",
160             "libWebKitSystemInterfaceYosemite.a"
161         ));
162     }
163
164     foreach my $libraryName (@librariesToCopy) {
165         my $sourceLibrary = "WebKitLibraries/" . $libraryName;
166         my $targetLibrary = "$libraryDir/" . $libraryName;
167         if ($force || !-e $targetLibrary || -M $targetLibrary > -M $sourceLibrary) {
168             print "Updating $targetLibrary\n";
169             (system("ditto", $sourceLibrary, $targetLibrary) == 0) or die;
170             executeRanlib($targetLibrary);
171         }
172     }
173     
174     dittoHeaders("WebKitLibraries/WebKitSystemInterface.h", "$productDir/usr/local/include/WebKitSystemInterface.h");
175     dittoHeaders("WebKitLibraries/WebKitSystemInterfaceIOS.h", "$productDir/usr/local/include/WebKitSystemInterfaceIOS.h") if isIOSWebKit();
176 }
177
178 if ($llvm) {
179     (system("mkdir", "-p", "$productDir$llvmPrefix/include") == 0) or die;
180
181     my $libraryDir = $useFullLibPaths ? "$productDir$llvmPrefix/lib" : $productDir;
182     # Always create a directory at the full library path, because the JavaScriptCore build emits a warning if it's not there.
183     (system("mkdir", "-p", "$productDir$llvmPrefix/lib") == 0) or die;
184
185     # Determine where to get LLVM binaries and headers.
186     my $useOwnLLVM = 0;
187     my $ownLLVMDirectory;
188     if (defined($ENV{LLVM_SOURCE_PATH})) {
189         print "Using LLVM from \$LLVM_SOURCE_PATH: " . $ENV{LLVM_SOURCE_PATH} . "\n";
190         $useOwnLLVM = 1;
191         $ownLLVMDirectory = $ENV{LLVM_SOURCE_PATH};
192     } elsif (-d $llvmSubdirectoryName && -e "$llvmSubdirectoryName/LLVMBuild.txt") {
193         print "Using LLVM from $llvmSubdirectoryName subdirectory.\n";
194         $useOwnLLVM = 1;
195         $ownLLVMDirectory = sourceDir() . "/$llvmSubdirectoryName";
196     } elsif ($llvmLibraryPackage ne "" && $llvmIncludePackage ne "") {
197         # Command-line arguments override our other ways of finding the packages.
198         print "Using LLVM binary drops specified on command-line: $llvmLibraryPackage and $llvmIncludePackage.\n";
199     } elsif (defined($ENV{LLVM_LIBRARY_PACKAGE}) && defined($ENV{LLVM_INCLUDE_PACKAGE})) {
200         $llvmLibraryPackage = $ENV{LLVM_LIBRARY_PACKAGE};
201         $llvmIncludePackage = $ENV{LLVM_INCLUDE_PACKAGE};
202         print "Using LLVM binary drops specified by \$LLVM_LIBRARY_PACKAGE and \$LLVM_INCLUDE_PACKAGE: $llvmLibraryPackage and $llvmIncludePackage.\n";
203     } elsif ($preferSystemLLVMOverDrops) {
204         # Don't fall through to drop detection.
205         print "Using system LLVM.\n";
206     } elsif ($osxVersion eq "10.9") {
207         $llvmLibraryPackage = "WebKitLibraries/LLVMLibrariesMavericks.tar.bz2";
208         $llvmIncludePackage = "WebKitLibraries/LLVMIncludesMavericks.tar.bz2";
209     } elsif ($osxVersion eq "10.10") {
210         $llvmLibraryPackage = "WebKitLibraries/LLVMLibrariesYosemite.tar.bz2";
211         $llvmIncludePackage = "WebKitLibraries/LLVMIncludesYosemite.tar.bz2";
212     } elsif ($osxVersion eq "10.11") {
213         $llvmLibraryPackage = "WebKitLibraries/LLVMLibrariesElCapitan.tar.bz2";
214         $llvmIncludePackage = "WebKitLibraries/LLVMIncludesElCapitan.tar.bz2";
215     } else {
216         print "Don't know where to find LLVM!\n";
217         print "\n";
218         print "Try defining LLVM_LIBRARY_PACKAGE and LLVM_INCLUDE_PACKAGE or setting the\n";
219         print "--use-llvm-includes and --use-llvm-libraries options.\n";
220         print "\n";
221         print "Alternatively, you can check out llvm trunk into the WebKit directory:\n";
222         print "svn co http://llvm.org/svn/llvm-project/llvm/trunk llvm\n";
223         exit 1;
224     }
225
226     sub fileContains
227     {
228         my ($filename, $string) = @_;
229         open my $fileHandle, '<', $filename or die;
230         while (<$fileHandle>) {
231             return 1 if /^$string$/;
232         }
233         return 0;
234     }
235
236     sub fileContentsEquals
237     {
238         my ($filename, $string) = @_;
239         open my $fileHandle, '<', $filename or die;
240         binmode $fileHandle;
241         my $contents = <$fileHandle>;
242         return $contents eq $string;
243     }
244
245     my $shouldUpdateLLVMLibraryToken = 0;
246
247     if ($useOwnLLVM) {
248         my $sdkArg;
249         if (xcodeSDK()) {
250             $sdkArg = "--sdk " . xcodeSDK();
251         } else {
252             $sdkArg = "";
253         }
254         my $sdkRoot = `xcrun $sdkArg --show-sdk-path`;
255         chomp $sdkRoot;
256     
257         if (!-e "$ownLLVMDirectory/wkLLVMBuild/Makefile.config") {
258             print("Configuring LLVM.\n");
259             (system("mkdir -p $ownLLVMDirectory/wkLLVMBuild"));
260             my $flags = "--enable-optimized=yes --enable-backtraces=no --enable-targets=x86_64 --enable-libcpp=yes --enable-zlib=no --enable-terminfo=no --enable-crash-overrides=no";
261             (system("(cd $ownLLVMDirectory/wkLLVMBuild && SDKROOT=$sdkRoot ../configure $flags)") == 0) or die;
262         }
263
264         print("Building LLVM.\n");
265         my $oldPath = $ENV{"PATH"};
266         chdir "$ownLLVMDirectory/wkLLVMBuild";
267         my $binariesDirectory = "binariesForLLVMBuild";
268         my $pathCommand = "";
269         if (-e $binariesDirectory) {
270             my $binariesPath = File::Spec->rel2abs($binariesDirectory);
271             print "Detected binaries directory; prepending to path: $binariesPath\n";
272             $pathCommand = "PATH=\\\$PWD/$binariesDirectory:\\\$PATH";
273         }
274         my $makeCommand = "env -i bash -l -c \"$pathCommand SDKROOT=$sdkRoot make -j `sysctl -n hw.activecpu`\"";
275         print $makeCommand . "\n";
276         (system($makeCommand) == 0) or die;
277         $ENV{"PATH"} = $oldPath;
278         chdirWebKit();
279         
280         my $ownLLVMBuildMode = "";
281         if (fileContains($ownLLVMDirectory . "/wkLLVMBuild/Makefile.config", "ENABLE_OPTIMIZED=1")) {
282             $ownLLVMBuildMode .= "Release";
283         } else {
284             $ownLLVMBuildMode .= "Debug";
285         }
286         
287         if (fileContains($ownLLVMDirectory . "/wkLLVMBuild/Makefile.config", "DISABLE_ASSERTIONS=1")) {
288             # Nothing to do.
289         } else {
290             $ownLLVMBuildMode .= "+Asserts";
291         }
292         
293         my $librarySourceDirectory = "$ownLLVMDirectory/wkLLVMBuild/$ownLLVMBuildMode/lib";
294         my $libraryTargetDirectory = $libraryDir;
295         $shouldUpdateLLVMLibraryToken = 0;
296         print("Symlinking libraries from $librarySourceDirectory to $libraryTargetDirectory\n");
297         opendir (my $dirHandle, $librarySourceDirectory);
298         while (my $filename = readdir($dirHandle)) {
299             next if $filename !~ /\.a$/;
300             next if $filename =~ /libgtest/;
301             print "   Symlink $filename\n";
302             my $sourceLibrary = "$librarySourceDirectory/$filename";
303             my $targetLibrary = "$libraryTargetDirectory/$filename";
304             my $ranlibToken = "$libraryTargetDirectory/.ranlibToken-$filename";
305             unlink($targetLibrary);
306             symlink($sourceLibrary, $targetLibrary);
307             if ($force
308                 || !-e $ranlibToken
309                 || !fileContentsEquals($ranlibToken, $sourceLibrary)
310                 || -M $ranlibToken > -M $sourceLibrary) {
311                 print "   Ranlib $filename\n";
312                 executeRanlib($targetLibrary);
313                 (open my $fileHandle, ">", $ranlibToken) or die;
314                 print {$fileHandle} "$sourceLibrary";
315                 close $fileHandle;
316                 $shouldUpdateLLVMLibraryToken = 1;
317             }
318         }
319         closedir $dirHandle;
320     } elsif (!$preferSystemLLVMOverDrops) {
321         $shouldUpdateLLVMLibraryToken =
322             unpackIfNecessary($libraryDir, "$libraryDir/libLLVMCore.a", $llvmLibraryPackage, 1);
323     }
324
325     (system("rm", "-f", "$productDir/ExtraIncludesForLocalLLVMBuild") == 0) or die;
326     if ($useOwnLLVM) {
327         (system("rm", "-rf", "$productDir$llvmPrefix/include/llvm") == 0) or die;
328         (system("rm", "-rf", "$productDir$llvmPrefix/include/llvm-c") == 0) or die;
329         symlink("$ownLLVMDirectory/include/llvm", "$productDir$llvmPrefix/include/llvm") or die;
330         symlink("$ownLLVMDirectory/include/llvm-c", "$productDir$llvmPrefix/include/llvm-c") or die;
331         symlink("$ownLLVMDirectory/wkLLVMBuild/include", "$productDir/ExtraIncludesForLocalLLVMBuild") or die;
332     } elsif (!$preferSystemLLVMOverDrops) {
333         unpackIfNecessary("$productDir$llvmPrefix/include", "$productDir$llvmPrefix/include/llvm-c/Core.h", $llvmIncludePackage, 0);
334     }
335
336     if ($shouldUpdateLLVMLibraryToken) {
337         (system("touch", "Source/JavaScriptCore/llvm/library/LLVMAnchor.cpp") == 0) or die;
338     }
339 }
340
341 if ($clean) {
342     print "Cleaning.\n";    
343     (system("rm", "-rf", "$productDir/usr/local/include/WebKitSystemInterface.h") == 0) or die;
344     if (isIOSWebKit()) {
345         (system("rm", "-rf", "$productDir/usr/local/include/WebKitSystemInterfaceIOS.h") == 0) or die;
346     }
347     (system("rm", "-rf", "$productDir$llvmPrefix") == 0) or die;
348     unlink glob "$productDir/libWebKitSystemInterface*" or die if glob "$productDir/libWebKitSystemInterface*";
349     unlink glob "$productDir/usr/local/lib/libWebKitSystemInterface*" or die if glob "$productDir/usr/local/lib/libWebKitSystemInterface*";
350     unlink glob "$productDir/libLLVM*" or die if glob "$productDir/libLLVM*";
351     unlink glob "$productDir/libLTO*" or die if glob "$productDir/libLTO*";
352 }