6f304a7f9e5b85463d35f7305975f8c4bf00099d
[WebKit-https.git] / Tools / Scripts / build-webkit
1 #!/usr/bin/env perl
2
3 # Copyright (C) 2005, 2006, 2007, 2008, 2009, 2010, 2011, 2012, 2013, 2014 Apple Inc. All rights reserved.
4 # Copyright (C) 2009 Google Inc. All rights reserved.
5 # Copyright (C) 2010 moiji-mobile.com All rights reserved.
6 # Copyright (C) 2011 Research In Motion Limited. All rights reserved.
7 # Copyright (C) 2013 Nokia Corporation and/or its subsidiary(-ies).
8 #
9 # Redistribution and use in source and binary forms, with or without
10 # modification, are permitted provided that the following conditions
11 # are met:
12 #
13 # 1.  Redistributions of source code must retain the above copyright
14 #     notice, this list of conditions and the following disclaimer. 
15 # 2.  Redistributions in binary form must reproduce the above copyright
16 #     notice, this list of conditions and the following disclaimer in the
17 #     documentation and/or other materials provided with the distribution. 
18 # 3.  Neither the name of Apple Inc. ("Apple") nor the names of
19 #     its contributors may be used to endorse or promote products derived
20 #     from this software without specific prior written permission. 
21 #
22 # THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
23 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
24 # WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
25 # DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
26 # DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
27 # (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
28 # LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
29 # ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
30 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
31 # THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
32
33 # Build script wrapper for the WebKit Open Source Project.
34
35 use strict;
36 use warnings;
37 use File::Basename;
38 use File::Find;
39 use File::Spec;
40 use FindBin;
41 use Getopt::Long qw(:config pass_through no_auto_abbrev);
42 use lib $FindBin::Bin;
43 use webkitdirs;
44 use List::Util qw(first);
45 use webkitperl::FeatureList qw(getFeatureOptionList);
46 use POSIX;
47
48 sub cMakeArgsFromFeatures();
49 sub writeCongrats();
50
51 checkRequiredSystemConfig();
52 setConfiguration();
53
54 if (shouldUseFlatpak()) {
55     print "Building flatpak based environment\n";
56
57     runInFlatpak("/app/webkit/Tools/Scripts/build-webkit");
58 }
59
60 my $originalWorkingDirectory = getcwd();
61 chdirWebKit();
62
63 my $showHelp = 0;
64 my $verbose = 0;
65 my $clean = 0;
66 my $minimal = 0;
67 my $installHeaders;
68 my $installLibs;
69 my $prefixPath;
70 my $makeArgs = "";
71 my @cmakeArgs;
72 my $onlyWebKitProject = 0;
73 my $coverageSupport = 0;
74 my $shouldRunStaticAnalyzer = 0;
75 my $noExperimentalFeatures = 0;
76 my $startTime = time();
77 my $archs32bit = 0;
78 my $skipLibraryUpdate = 0;
79 my $useCCache = -1;
80
81 my @features = getFeatureOptionList();
82
83 # Additional environment parameters
84 push @ARGV, split(/ /, $ENV{'BUILD_WEBKIT_ARGS'}) if ($ENV{'BUILD_WEBKIT_ARGS'});
85
86 # Initialize values from defaults
87 foreach (@ARGV) {
88     if ($_ eq '--minimal') {
89         $minimal = 1;
90     } elsif ($_ eq 'ARCHS=i386' or $_ eq 'ARCHS=armv7' or $_ eq 'ARCHS=armv7s') {
91         $archs32bit = 1;
92     }
93 }
94
95 # Feature flags default to undefined, where they will inherit the default value
96 # specified by the build system, or to 'off' if --minimal is specified.
97 foreach (@features) {
98     ${$_->{value}} = ($minimal ? 0 : undef);
99 }
100
101 my $programName = basename($0);
102 my $usage = <<EOF;
103 Usage: $programName [options] [options to pass to build system]
104   --help                            Show this help message
105   --verbose                         Show verbose build output
106   --clean                           Cleanup the build directory
107   --generate-project-only           Only generate project files
108   --debug                           Compile with Debug configuration
109   --release                         Compile with Release configuration
110   --sdk=<sdk>                       Use a specific Xcode SDK (iOS and Mac only)
111   --ios-device                      Use "iphoneos.internal" SDK if installed, else "iphoneos" SDK (iOS only)
112   --device                          DEPRECATED alias of --ios-device
113   --ios-simulator                   Use "iphonesimulator.internal" SDK if installed, else "iphonesimulator" SDK (iOS only)
114   --simulator                       DEPRECATED alias of --ios-simulator
115   --coverage                        Enable code coverage support (Mac only)
116   --analyze                         Enable static anaylsis (iOS and Mac only)
117
118   --gtk                             Build the GTK+ port
119   --wpe                             Build the WPE port
120   --wincairo                        Build using Cairo (rather than CoreGraphics) on Windows
121
122   --inspector-frontend              Copy Web Inspector user interface resources to the build directory
123
124   --prefix=<path>                   Set installation prefix to the given path (CMake only, except Windows)
125   --makeargs=<arguments>            Optional Makefile flags
126   --cmakeargs=<arguments>           One or more optional CMake flags (e.g. --cmakeargs="-DFOO=bar -DCMAKE_PREFIX_PATH=/usr/local")
127
128   --minimal                         No optional features, unless explicitly enabled
129   --no-experimental-features        No experimental features, unless explicitly enabled (CMake only)
130
131   --only-webkit                     Build only the WebKit project
132
133   --skip-library-update             Skip the check to see if windows libraries are up to date
134
135   --[no-]use-ccache                 Enable (or disable) CCache, if available
136
137 EOF
138
139 my %options = (
140     'help' => \$showHelp,
141     'v|verbose' => \$verbose,
142     'clean' => \$clean,
143     'install-headers=s' => \$installHeaders,
144     'install-libs=s' => \$installLibs,
145     'prefix=s' => \$prefixPath,
146     'makeargs=s' => \$makeArgs,
147     'cmakeargs=s' => \@cmakeArgs,
148     'minimal' => \$minimal,
149     'only-webkit' => \$onlyWebKitProject,
150     'coverage' => \$coverageSupport,
151     'analyze' => \$shouldRunStaticAnalyzer,
152     'no-experimental-features' => \$noExperimentalFeatures,
153     'skip-library-update' => \$skipLibraryUpdate,
154     'use-ccache!' => \$useCCache,
155 );
156
157 # Build usage text and options list from features
158 foreach (@features) {
159     my $opt = sprintf("%-35s", "  --[no-]$_->{option}");
160     $usage .= "$opt $_->{desc}\n";
161     $options{"$_->{option}!"} = $_->{value};
162 }
163
164 GetOptions(%options);
165
166 if ($showHelp) {
167    print STDERR $usage;
168    exit 1;
169 }
170
171 $ENV{'VERBOSE'} = 1 if $verbose;
172
173 if ($useCCache == 1) {
174     $ENV{'WK_USE_CCACHE'} = "YES";
175 } elsif ($useCCache == 0) {
176     $ENV{'WK_USE_CCACHE'} = "NO";
177 }
178
179
180 my $productDir = productDir();
181
182 # Check that all the project directories are there.
183 my @projects = ("Source/JavaScriptCore", "Source/WebCore", "Source/WebKitLegacy");
184
185 # Build WTF as a separate static library on ports which support it.
186 splice @projects, 0, 0, "Source/WTF" if isAppleWebKit() or isWinCairo();
187
188 splice @projects, 0, 0, "Source/bmalloc" if isAppleCocoaWebKit();
189
190 # Ports using CMake will check if directories exist in the CMake configuration.
191 if (!isCMakeBuild()) {
192     for my $dir (@projects) {
193         if (! -d $dir) {
194             die "Error: No $dir directory found. Please do a fresh checkout.\n";
195         }
196     }
197 }
198
199 if ((isAppleWebKit() || isWinCairo()) && !-d "WebKitLibraries") {
200     die "Error: No WebKitLibraries directory found. Please do a fresh checkout.\n";
201 }
202
203 my @options = ();
204
205 if (isAppleCocoaWebKit()) {
206     push @options, XcodeOptions();
207     sub option($$)
208     {
209         my ($feature, $isEnabled) = @_;
210         return "" if not defined $isEnabled;
211         return $feature . "=" . ($isEnabled ? $feature : "");
212     }
213
214     foreach (@features) {
215         my $option = option($_->{define}, ${$_->{value}});
216         push @options, $option unless $option eq "";
217     }
218
219     # ANGLE and libwebrtc must come before WebCore
220     splice @projects, 0, 0, ("Source/ThirdParty/ANGLE");
221     if (not $archs32bit and ((portName() eq Mac and not architecture() eq "i386") or 
222         (portName() eq iOS and (architecture() eq "arm64" or architecture() eq "x86_64")))) {
223         splice @projects, 0, 0, ("Source/ThirdParty/libwebrtc");
224     }
225
226     push @projects, ("Source/WebKit");
227
228     if (!isIOSWebKit()) {
229         push @projects, ("Tools/MiniBrowser");
230
231         # WebInspectorUI must come after JavaScriptCore and WebCore but before WebKit and WebKit2
232         my $webKitIndex = first { $projects[$_] eq "Source/WebKitLegacy" } 0..$#projects;
233         splice(@projects, $webKitIndex, 0, "Source/WebInspectorUI");
234
235         # Copy library and header from WebKitLibraries to a findable place in the product directory.
236         my @copyLibrariesArgs = ("perl", "Tools/Scripts/copy-webkitlibraries-to-product-directory", "--wksi",  productDir());
237         print(join(" ", @copyLibrariesArgs) . "\n");
238         (system(@copyLibrariesArgs) == 0) or die;
239     } else {
240         my @copyLibrariesArgs = ("perl", "Tools/Scripts/copy-webkitlibraries-to-product-directory", "--sdk", xcodeSDK(), "--wksi");
241         push @copyLibrariesArgs, productDir();
242         print(join(" ", @copyLibrariesArgs) . "\n");
243         (system(@copyLibrariesArgs) == 0) or die;
244     }
245
246     # Build Tools needed for Apple ports
247     push @projects, ("Tools/DumpRenderTree", "Tools/WebKitTestRunner", "Source/ThirdParty/gtest", "Tools/TestWebKitAPI");
248
249 } elsif (isWinCairo() && !$skipLibraryUpdate) {
250     (system("python Tools/Scripts/update-webkit-wincairo-libs.py") == 0) or die;
251 } elsif (isAppleWinWebKit() && !$skipLibraryUpdate) {
252     # Copy WebKitSupportLibrary to the correct location in WebKitLibraries so it can be found.
253     # Will fail if WebKitSupportLibrary.zip is not in source root.
254     (system("perl Tools/Scripts/update-webkit-support-libs") == 0) or die;
255     (system("perl Tools/Scripts/update-webkit-auxiliary-libs") == 0) or die;
256     setupAppleWinEnv()
257 }
258
259 if (isAnyWindows()) {
260     system("python Tools/Scripts/update-vswhere.py");
261 }
262
263 # If asked to build just the WebKit project, overwrite the projects
264 # list after all of the port specific tweaks have been made to
265 # build options, etc.
266 @projects = ("Source/WebKitLegacy") if $onlyWebKitProject;
267
268 my $result = 0;
269
270 if (isInspectorFrontend()) {
271     die "The --inspector-frontend option is not supported for CMake-based builds." if isCMakeBuild();
272     @projects = ("Source/WebInspectorUI");
273 }
274
275 if (isCMakeBuild() && !isAnyWindows()) {
276     if (!canUseNinja() || defined($ENV{NUMBER_OF_PROCESSORS})) {
277         # If the user environment is not setting a specific number of process,
278         # then don't pass the number of jobs to Ninja. Because Ninja will
279         # automatically determine the number of jobs to run in parallel.
280         $makeArgs .= ($makeArgs ? " " : "") . "-j" . numberOfCPUs() if $makeArgs !~ /-j\s*\d+/;
281     }
282
283     my $maxCPULoad = maxCPULoad() if $makeArgs !~ /-l\s*\d+\.?\d*/;
284     $makeArgs .= " -l" . maxCPULoad() if defined $maxCPULoad;
285
286     # We remove CMakeCache to avoid the bots reusing cached flags when
287     # we enable new features. This forces a reconfiguration.
288     my @featureArgs = cMakeArgsFromFeatures();
289     removeCMakeCache(@featureArgs);
290
291     buildCMakeProjectOrExit($clean, $prefixPath, $makeArgs, (cmakeBasedPortArguments(), @featureArgs), @cmakeArgs);
292 }
293
294 my $baseProductDir = baseProductDir();
295 if (isAppleWinWebKit() || isWinCairo()) {
296     my @featureArgs = cMakeArgsFromFeatures();
297     removeCMakeCache(@featureArgs);
298
299     chdirWebKit();
300     if (exitStatus(generateBuildSystemFromCMakeProject($prefixPath, @cmakeArgs))) {
301         die "Run Visual Studio 2017 installation vcvars.bat before build-webkit when using ninja";
302     }
303
304     exit 0 if isGenerateProjectOnly();
305
306     chdirWebKit();
307     if (canUseNinja()) {
308         chdir File::Spec->catdir($baseProductDir, configuration());
309         $result = system("ninja");
310     } else {
311         $result = buildVisualStudioProject(File::Spec->catfile($baseProductDir, configuration(), "WebKit.sln"), $clean);
312     }
313     if (exitStatus($result)) {
314         my $scriptDir = relativeScriptsDir();
315         if (isAppleWinWebKit() || isWinCairo()) {
316             print "\n\n===== BUILD FAILED ======\n\n";
317             print "Please ensure you have run $scriptDir/update-webkit to install dependencies.\n\n";
318             print "You can view build errors by checking the BuildLog.htm files located at:\n$baseProductDir/obj/<project>/<config>.\n";
319         }
320         exit exitStatus($result);
321     }
322 } elsif (isAppleCocoaWebKit() && !isCMakeBuild()) {
323     exit 0 if isGenerateProjectOnly();
324
325     # Build, and abort if the build fails.
326     for my $dir (@projects) {
327         chdir $dir or die;
328         $result = 0;
329
330         my $project = basename($dir);
331         
332         my @local_options = @options;
333         push @local_options, XcodeCoverageSupportOptions() if $coverageSupport;
334         push @local_options, XcodeStaticAnalyzerOption() if $shouldRunStaticAnalyzer;
335         my $projectPath = $project =~ /gtest/ ? "xcode/gtest" : $project;
336         $result = buildXCodeProject($projectPath, $clean, @local_options, @ARGV);
337
338         # Various build* calls above may change the CWD.
339         chdirWebKit();
340
341         if (exitStatus($result)) {
342             exit exitStatus($result);
343         }
344
345         # Build ImageDiff for host
346         my @command = File::Spec->catfile(getcwd(), "/Tools/Scripts/build-imagediff");
347         chdirWebKit();
348         if (!-e $command[0]) {
349           die "build-imagediff script not found";
350         }
351
352         if ($clean) {
353           push @command, " --clean";
354         }
355         push @command, argumentsForConfiguration();
356         push @command, @ARGV;
357         @command = extractNonMacOSHostConfiguration(\@command);
358         $result = system(@command);
359         if (exitStatus($result)) {
360             exit exitStatus($result);
361         }
362     }
363 }
364
365 # Don't report the "WebKit is now built" message after a clean operation.
366 exit if $clean;
367
368 # Don't report congrats message if build was interrupted by the user.
369 exit if ($result & 127) == SIGINT;
370
371 # Explicitly chdir back to where exit will take us anyway, since the following "launcher"
372 # message is relative to that directory.
373 chdir $originalWorkingDirectory;
374
375 # Write out congratulations message.
376 writeCongrats();
377
378 exit 0;
379
380 sub cMakeArgsFromFeatures()
381 {
382     my @args;
383
384     if (!$noExperimentalFeatures) {
385         push @args, "-DENABLE_EXPERIMENTAL_FEATURES=ON";
386     }
387
388     foreach (@features) {
389         my $featureName = $_->{define};
390         if ($featureName) {
391             my $featureValue = ${$_->{value}};
392             if (defined $featureValue) {
393                 my $featureEnabled = $featureValue ? "ON" : "OFF";
394                 push @args, "-D$featureName=$featureEnabled";
395             }
396         }
397     }
398
399     return @args;
400 }
401
402 sub writeCongrats()
403 {
404     my $launcherPath = launcherPath();
405     my $launcherName = launcherName();
406     my $endTime = time();
407     my $buildTime = formatBuildTime($endTime - $startTime);
408
409     print "\n";
410     print "====================================================================\n";
411     print " WebKit is now built ($buildTime). \n";
412     if ($launcherPath && $launcherName) {
413         print " To run $launcherName with this newly-built code, use the\n";
414         print " \"$launcherPath\" script.\n";
415     }
416     print "====================================================================\n";
417 }