Add option to build-webkit to control whether or not XCBuild is used
[WebKit-https.git] / Tools / Scripts / build-webkit
1 #!/usr/bin/env perl
2
3 # Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012, 2013, 2014 Apple Inc. All rights reserved.
4 # Copyright (C) 2009 Google Inc. All rights reserved.
5 # Copyright (C) 2010 moiji-mobile.com All rights reserved.
6 # Copyright (C) 2011 Research In Motion Limited. All rights reserved.
7 # Copyright (C) 2013 Nokia Corporation and/or its subsidiary(-ies).
8 #
9 # Redistribution and use in source and binary forms, with or without
10 # modification, are permitted provided that the following conditions
11 # are met:
12 #
13 # 1.  Redistributions of source code must retain the above copyright
14 #     notice, this list of conditions and the following disclaimer. 
15 # 2.  Redistributions in binary form must reproduce the above copyright
16 #     notice, this list of conditions and the following disclaimer in the
17 #     documentation and/or other materials provided with the distribution. 
18 # 3.  Neither the name of Apple Inc. ("Apple") nor the names of
19 #     its contributors may be used to endorse or promote products derived
20 #     from this software without specific prior written permission. 
21 #
22 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
23 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
24 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
25 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
26 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
27 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
28 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
29 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
30 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
31 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
32
33 # Build script wrapper for the WebKit Open Source Project.
34
35 use strict;
36 use warnings;
37 use File::Basename;
38 use File::Find;
39 use File::Spec;
40 use FindBin;
41 use Getopt::Long qw(:config pass_through no_auto_abbrev);
42 use lib $FindBin::Bin;
43 use webkitdirs;
44 use List::Util qw(first);
45 use webkitperl::FeatureList qw(getFeatureOptionList);
46 use POSIX;
47
48 sub writeCongrats();
49
50 checkRequiredSystemConfig();
51 setConfiguration();
52
53 if (shouldUseFlatpak()) {
54     print "Building flatpak based environment\n";
55
56     runInFlatpak("/app/webkit/Tools/Scripts/build-webkit");
57 }
58
59 my $originalWorkingDirectory = getcwd();
60 chdirWebKit();
61
62 my $showHelp = 0;
63 my $verbose = 0;
64 my $clean = 0;
65 my $minimal = 0;
66 my $installHeaders;
67 my $installLibs;
68 my $prefixPath;
69 my $makeArgs = "";
70 my @cmakeArgs;
71 my $onlyWebKitProject = 0;
72 my $coverageSupport = 0;
73 my $shouldRunStaticAnalyzer = 0;
74 my $noExperimentalFeatures = 0;
75 my $ltoMode = "default";
76 my $xcbuild = undef;
77 my $startTime = time();
78 my $archs32bit = 0;
79 my $skipLibraryUpdate = 0;
80 my $useCCache = -1;
81
82 my @features = getFeatureOptionList();
83
84 # Additional environment parameters
85 push @ARGV, split(/ /, $ENV{'BUILD_WEBKIT_ARGS'}) if ($ENV{'BUILD_WEBKIT_ARGS'});
86
87 # Initialize values from defaults
88 foreach (@ARGV) {
89     if ($_ eq '--minimal') {
90         $minimal = 1;
91     } elsif ($_ eq 'ARCHS=i386' or $_ eq 'ARCHS=armv7' or $_ eq 'ARCHS=armv7s') {
92         $archs32bit = 1;
93     }
94 }
95
96 # Feature flags default to undefined, where they will inherit the default value
97 # specified by the build system, or to 'off' if --minimal is specified.
98 foreach (@features) {
99     ${$_->{value}} = ($minimal ? 0 : undef);
100 }
101
102 my $programName = basename($0);
103 my $usage = <<EOF;
104 Usage: $programName [options] [options to pass to build system]
105   --help                            Show this help message
106   --verbose                         Show verbose build output
107   --clean                           Cleanup the build directory
108   --generate-project-only           Only generate project files
109   --debug                           Compile with Debug configuration
110   --release                         Compile with Release configuration
111   --sdk=<sdk>                       Use a specific Xcode SDK (iOS and Mac only)
112   --ios-device                      Use "iphoneos.internal" SDK if installed, else "iphoneos" SDK (iOS only)
113   --device                          DEPRECATED alias of --ios-device
114   --ios-simulator                   Use "iphonesimulator.internal" SDK if installed, else "iphonesimulator" SDK (iOS only)
115   --simulator                       DEPRECATED alias of --ios-simulator
116   --coverage                        Enable code coverage support (Mac only)
117   --analyze                         Enable static anaylsis (iOS and Mac only)
118   --lto-mode=<mode>                 Set Link Time Optimization mode (full, thin, or none) (LLVM only)
119   --[no-]xcbuild                    Force the use of XCBuild or not
120
121   --gtk                             Build the GTK+ port
122   --wpe                             Build the WPE port
123   --wincairo                        Build using Cairo (rather than CoreGraphics) on Windows
124   --playstation                     Build the PlayStation port
125
126   --inspector-frontend              Copy Web Inspector user interface resources to the build directory
127
128   --prefix=<path>                   Set installation prefix to the given path (CMake only, except Windows)
129   --makeargs=<arguments>            Optional Makefile flags
130   --cmakeargs=<arguments>           One or more optional CMake flags (e.g. --cmakeargs="-DFOO=bar -DCMAKE_PREFIX_PATH=/usr/local")
131
132   --minimal                         No optional features, unless explicitly enabled
133   --no-experimental-features        No experimental features, unless explicitly enabled (CMake only)
134
135   --only-webkit                     Build only the WebKit project
136
137   --skip-library-update             Skip the check to see if windows libraries are up to date
138
139   --[no-]use-ccache                 Enable (or disable) CCache, if available
140
141 EOF
142
143 my %options = (
144     'help' => \$showHelp,
145     'v|verbose' => \$verbose,
146     'clean' => \$clean,
147     'install-headers=s' => \$installHeaders,
148     'install-libs=s' => \$installLibs,
149     'prefix=s' => \$prefixPath,
150     'makeargs=s' => \$makeArgs,
151     'cmakeargs=s' => \@cmakeArgs,
152     'minimal' => \$minimal,
153     'only-webkit' => \$onlyWebKitProject,
154     'coverage' => \$coverageSupport,
155     'analyze' => \$shouldRunStaticAnalyzer,
156     'no-experimental-features' => \$noExperimentalFeatures,
157     'lto-mode=s' => \$ltoMode,
158     'xcbuild!' => \$xcbuild,
159     'skip-library-update' => \$skipLibraryUpdate,
160     'use-ccache!' => \$useCCache,
161 );
162
163 # Build usage text and options list from features
164 foreach (@features) {
165     my $opt = sprintf("%-35s", "  --[no-]$_->{option}");
166     $usage .= "$opt $_->{desc}\n";
167     $options{"$_->{option}!"} = $_->{value};
168 }
169
170 GetOptions(%options);
171
172 if ($showHelp) {
173    print STDERR $usage;
174    exit 1;
175 }
176
177 $ENV{'VERBOSE'} = 1 if $verbose;
178
179 if ($useCCache == 1) {
180     $ENV{'WK_USE_CCACHE'} = "YES";
181 } elsif ($useCCache == 0) {
182     $ENV{'WK_USE_CCACHE'} = "NO";
183 }
184
185
186 my $productDir = productDir();
187
188 # Check that all the project directories are there.
189 my @projects = ("Source/JavaScriptCore", "Source/WebCore", "Source/WebKitLegacy");
190
191 # Build WTF as a separate static library on ports which support it.
192 splice @projects, 0, 0, "Source/WTF" if isAppleWebKit() or isWinCairo();
193
194 splice @projects, 0, 0, "Source/bmalloc" if isAppleCocoaWebKit();
195
196 # Ports using CMake will check if directories exist in the CMake configuration.
197 if (!isCMakeBuild()) {
198     for my $dir (@projects) {
199         if (! -d $dir) {
200             die "Error: No $dir directory found. Please do a fresh checkout.\n";
201         }
202     }
203 }
204
205 if ((isAppleWebKit() || isWinCairo() || isPlayStation()) && !-d "WebKitLibraries") {
206     die "Error: No WebKitLibraries directory found. Please do a fresh checkout.\n";
207 }
208
209 my @options = ();
210
211 if (isAppleCocoaWebKit()) {
212     push @options, XcodeOptions();
213
214     if (not defined $xcbuild) {
215         $xcbuild = canUseXCBuild();
216     }
217
218     if ($xcbuild) {
219         push @options, "-UseNewBuildSystem=YES";
220         push @options, "USE_NEW_BUILD_SYSTEM=YES";
221     } else {
222         push @options, "-UseNewBuildSystem=NO";
223     }
224
225     sub option($$)
226     {
227         my ($feature, $isEnabled) = @_;
228         return "" if not defined $isEnabled;
229         return $feature . "=" . ($isEnabled ? $feature : "");
230     }
231
232     foreach (@features) {
233         my $option = option($_->{define}, ${$_->{value}});
234         push @options, $option unless $option eq "";
235     }
236
237     # ANGLE and libwebrtc must come before WebCore
238     splice @projects, 0, 0, ("Source/ThirdParty/ANGLE");
239     if (not $archs32bit and ((portName() eq Mac and not architecture() eq "i386") or 
240         (portName() eq iOS and (architecture() eq "arm64" or architecture() eq "x86_64")))) {
241         splice @projects, 0, 0, ("Source/ThirdParty/libwebrtc");
242     }
243
244     push @projects, ("Source/WebKit");
245
246     if (!isIOSWebKit()) {
247         push @projects, ("Tools/MiniBrowser");
248
249         # WebInspectorUI must come after JavaScriptCore and WebCore but before WebKit and WebKit2
250         my $webKitIndex = first { $projects[$_] eq "Source/WebKitLegacy" } 0..$#projects;
251         splice(@projects, $webKitIndex, 0, "Source/WebInspectorUI");
252
253         # Copy library and header from WebKitLibraries to a findable place in the product directory.
254         my @copyLibrariesArgs = ("perl", "Tools/Scripts/copy-webkitlibraries-to-product-directory", "--wksi",  productDir());
255         print(join(" ", @copyLibrariesArgs) . "\n");
256         (system(@copyLibrariesArgs) == 0) or die;
257     } else {
258         my @copyLibrariesArgs = ("perl", "Tools/Scripts/copy-webkitlibraries-to-product-directory", "--sdk", xcodeSDK(), "--wksi");
259         push @copyLibrariesArgs, productDir();
260         print(join(" ", @copyLibrariesArgs) . "\n");
261         (system(@copyLibrariesArgs) == 0) or die;
262     }
263
264     # Build Tools needed for Apple ports
265     push @projects, ("Tools/DumpRenderTree", "Tools/WebKitTestRunner", "Source/ThirdParty/gtest", "Tools/TestWebKitAPI");
266
267 } elsif (isWinCairo() && !$skipLibraryUpdate) {
268     (system("python Tools/Scripts/update-webkit-wincairo-libs.py") == 0) or die;
269 } elsif (isAppleWinWebKit() && !$skipLibraryUpdate) {
270     # Copy WebKitSupportLibrary to the correct location in WebKitLibraries so it can be found.
271     # Will fail if WebKitSupportLibrary.zip is not in source root.
272     (system("perl Tools/Scripts/update-webkit-support-libs") == 0) or die;
273     (system("perl Tools/Scripts/update-webkit-auxiliary-libs") == 0) or die;
274     setupAppleWinEnv()
275 }
276
277 # If asked to build just the WebKit project, overwrite the projects
278 # list after all of the port specific tweaks have been made to
279 # build options, etc.
280 @projects = ("Source/WebKitLegacy") if $onlyWebKitProject;
281
282 my $result = 0;
283
284 if (isInspectorFrontend()) {
285     die "The --inspector-frontend option is not supported for CMake-based builds." if isCMakeBuild();
286     @projects = ("Source/WebInspectorUI");
287 }
288
289 if (isCMakeBuild() && !isAnyWindows()) {
290     if (!canUseNinja() || defined($ENV{NUMBER_OF_PROCESSORS})) {
291         # If the user environment is not setting a specific number of process,
292         # then don't pass the number of jobs to Ninja. Because Ninja will
293         # automatically determine the number of jobs to run in parallel.
294         $makeArgs .= ($makeArgs ? " " : "") . "-j" . numberOfCPUs() if $makeArgs !~ /-j\s*\d+/;
295     }
296
297     my $maxCPULoad = maxCPULoad() if $makeArgs !~ /-l\s*\d+\.?\d*/;
298     $makeArgs .= " -l" . maxCPULoad() if defined $maxCPULoad;
299
300     # We remove CMakeCache to avoid the bots reusing cached flags when
301     # we enable new features. This forces a reconfiguration.
302     my @featureArgs = cmakeArgsFromFeatures(@features, !$noExperimentalFeatures);
303     removeCMakeCache(@featureArgs);
304
305     buildCMakeProjectOrExit($clean, $prefixPath, $makeArgs, @featureArgs, @cmakeArgs);
306 }
307
308 my $baseProductDir = baseProductDir();
309 if (isAppleWinWebKit() || isWinCairo() || isPlayStation()) {
310     my @featureArgs = cmakeArgsFromFeatures(@features, !$noExperimentalFeatures);
311     removeCMakeCache(@featureArgs);
312
313     chdirWebKit();
314     if (exitStatus(generateBuildSystemFromCMakeProject($prefixPath, @featureArgs, @cmakeArgs))) {
315         die "Run Visual Studio 2017 installation vcvars.bat before build-webkit when using ninja";
316     }
317
318     exit 0 if isGenerateProjectOnly();
319
320     chdirWebKit();
321     if (canUseNinja()) {
322         chdir File::Spec->catdir($baseProductDir, configuration());
323         $result = system("ninja");
324     } else {
325         $result = buildVisualStudioProject(File::Spec->catfile($baseProductDir, configuration(), "WebKit.sln"), $clean);
326     }
327     if (exitStatus($result)) {
328         my $scriptDir = relativeScriptsDir();
329         if (isAppleWinWebKit() || isWinCairo()) {
330             print "\n\n===== BUILD FAILED ======\n\n";
331             print "Please ensure you have run $scriptDir/update-webkit to install dependencies.\n\n";
332             print "You can view build errors by checking the BuildLog.htm files located at:\n$baseProductDir/obj/<project>/<config>.\n";
333         }
334         exit exitStatus($result);
335     }
336 } elsif (isAppleCocoaWebKit() && !isCMakeBuild()) {
337     exit 0 if isGenerateProjectOnly();
338
339     # Build, and abort if the build fails.
340     for my $dir (@projects) {
341         chdir $dir or die;
342         $result = 0;
343
344         my $project = basename($dir);
345         
346         my @local_options = @options;
347         push @local_options, XcodeCoverageSupportOptions() if $coverageSupport;
348         push @local_options, XcodeStaticAnalyzerOption() if $shouldRunStaticAnalyzer;
349         push @local_options, "WK_LTO_MODE=$ltoMode" if ($ltoMode ne "default");
350         my $projectPath = $project =~ /gtest/ ? "xcode/gtest" : $project;
351         $result = buildXCodeProject($projectPath, $clean, @local_options, @ARGV);
352
353         # Various build* calls above may change the CWD.
354         chdirWebKit();
355
356         if (exitStatus($result)) {
357             exit exitStatus($result);
358         }
359     }
360
361     # Build ImageDiff for host
362     my @command = File::Spec->catfile(getcwd(), "/Tools/Scripts/build-imagediff");
363     chdirWebKit();
364     if (!-e $command[0]) {
365         die "build-imagediff script not found";
366     }
367
368     if ($clean) {
369         push @command, " --clean";
370     }
371     push @command, argumentsForConfiguration();
372     push @command, @ARGV;
373     @command = extractNonMacOSHostConfiguration(\@command);
374     $result = system(@command);
375     if (exitStatus($result)) {
376         exit exitStatus($result);
377     }
378 }
379
380 # Don't report the "WebKit is now built" message after a clean operation.
381 exit if $clean;
382
383 # Don't report congrats message if build was interrupted by the user.
384 exit if ($result & 127) == SIGINT;
385
386 # Explicitly chdir back to where exit will take us anyway, since the following "launcher"
387 # message is relative to that directory.
388 chdir $originalWorkingDirectory;
389
390 # Write out congratulations message.
391 writeCongrats();
392
393 exit 0;
394
395 sub writeCongrats()
396 {
397     my $launcherPath = launcherPath();
398     my $launcherName = launcherName();
399     my $endTime = time();
400     my $buildTime = formatBuildTime($endTime - $startTime);
401
402     print "\n";
403     print "====================================================================\n";
404     print " WebKit is now built ($buildTime). \n";
405     if ($launcherPath && $launcherName) {
406         print " To run $launcherName with this newly-built code, use the\n";
407         print " \"$launcherPath\" script.\n";
408     }
409     print "====================================================================\n";
410 }