Clean the chromium bits of WebCore's WebDatabase
[WebKit-https.git] / Source / WebCore / Modules / webdatabase / DatabaseBackendBase.cpp
1 /*
2  * Copyright (C) 2011 Google Inc. All rights reserved.
3  * Copyright (C) 2013 Apple Inc. All rights reserved.
4  *
5  * Redistribution and use in source and binary forms, with or without
6  * modification, are permitted provided that the following conditions
7  * are met:
8  *
9  * 1.  Redistributions of source code must retain the above copyright
10  *     notice, this list of conditions and the following disclaimer.
11  * 2.  Redistributions in binary form must reproduce the above copyright
12  *     notice, this list of conditions and the following disclaimer in the
13  *     documentation and/or other materials provided with the distribution.
14  * 3.  Neither the name of Apple Computer, Inc. ("Apple") nor the names of
15  *     its contributors may be used to endorse or promote products derived
16  *     from this software without specific prior written permission.
17  *
18  * THIS SOFTWARE IS PROVIDED BY APPLE AND ITS CONTRIBUTORS "AS IS" AND ANY
19  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
20  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
21  * DISCLAIMED. IN NO EVENT SHALL APPLE OR ITS CONTRIBUTORS BE LIABLE FOR ANY
22  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
23  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
24  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
25  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
26  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
27  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
28  */
29
30 #include "config.h"
31 #include "DatabaseBackendBase.h"
32
33 #if ENABLE(SQL_DATABASE)
34
35 #include "DatabaseAuthorizer.h"
36 #include "DatabaseBackendContext.h"
37 #include "DatabaseBase.h"
38 #include "DatabaseContext.h"
39 #include "DatabaseManager.h"
40 #include "DatabaseTracker.h"
41 #include "ExceptionCode.h"
42 #include "Logging.h"
43 #include "SQLiteStatement.h"
44 #include "SQLiteTransaction.h"
45 #include "SecurityOrigin.h"
46 #include <wtf/HashMap.h>
47 #include <wtf/HashSet.h>
48 #include <wtf/PassRefPtr.h>
49 #include <wtf/RefPtr.h>
50 #include <wtf/StdLibExtras.h>
51 #include <wtf/text/CString.h>
52 #include <wtf/text/StringHash.h>
53
54 // Registering "opened" databases with the DatabaseTracker
55 // =======================================================
56 // The DatabaseTracker maintains a list of databases that have been
57 // "opened" so that the client can call interrupt or delete on every database
58 // associated with a DatabaseBackendContext.
59 //
60 // We will only call DatabaseTracker::addOpenDatabase() to add the database
61 // to the tracker as opened when we've succeeded in opening the database,
62 // and will set m_opened to true. Similarly, we only call
63 // DatabaseTracker::removeOpenDatabase() to remove the database from the
64 // tracker when we set m_opened to false in closeDatabase(). This sets up
65 // a simple symmetry between open and close operations, and a direct
66 // correlation to adding and removing databases from the tracker's list,
67 // thus ensuring that we have a correct list for the interrupt and
68 // delete operations to work on.
69 //
70 // The only databases instances not tracked by the tracker's open database
71 // list are the ones that have not been added yet, or the ones that we
72 // attempted an open on but failed to. Such instances only exist in the
73 // DatabaseServer's factory methods for creating database backends.
74 //
75 // The factory methods will either call openAndVerifyVersion() or
76 // performOpenAndVerify(). These methods will add the newly instantiated
77 // database backend if they succeed in opening the requested database.
78 // In the case of failure to open the database, the factory methods will
79 // simply discard the newly instantiated database backend when they return.
80 // The ref counting mechanims will automatically destruct the un-added
81 // (and un-returned) databases instances.
82
83 namespace WebCore {
84
85 static const char versionKey[] = "WebKitDatabaseVersionKey";
86 static const char infoTableName[] = "__WebKitDatabaseInfoTable__";
87
88 static String formatErrorMessage(const char* message, int sqliteErrorCode, const char* sqliteErrorMessage)
89 {
90     return String::format("%s (%d %s)", message, sqliteErrorCode, sqliteErrorMessage);
91 }
92
93 static bool retrieveTextResultFromDatabase(SQLiteDatabase& db, const String& query, String& resultString)
94 {
95     SQLiteStatement statement(db, query);
96     int result = statement.prepare();
97
98     if (result != SQLResultOk) {
99         LOG_ERROR("Error (%i) preparing statement to read text result from database (%s)", result, query.ascii().data());
100         return false;
101     }
102
103     result = statement.step();
104     if (result == SQLResultRow) {
105         resultString = statement.getColumnText(0);
106         return true;
107     }
108     if (result == SQLResultDone) {
109         resultString = String();
110         return true;
111     }
112
113     LOG_ERROR("Error (%i) reading text result from database (%s)", result, query.ascii().data());
114     return false;
115 }
116
117 static bool setTextValueInDatabase(SQLiteDatabase& db, const String& query, const String& value)
118 {
119     SQLiteStatement statement(db, query);
120     int result = statement.prepare();
121
122     if (result != SQLResultOk) {
123         LOG_ERROR("Failed to prepare statement to set value in database (%s)", query.ascii().data());
124         return false;
125     }
126
127     statement.bindText(1, value);
128
129     result = statement.step();
130     if (result != SQLResultDone) {
131         LOG_ERROR("Failed to step statement to set value in database (%s)", query.ascii().data());
132         return false;
133     }
134
135     return true;
136 }
137
138 // FIXME: move all guid-related functions to a DatabaseVersionTracker class.
139 static Mutex& guidMutex()
140 {
141     AtomicallyInitializedStatic(Mutex&, mutex = *new Mutex);
142     return mutex;
143 }
144
145 typedef HashMap<DatabaseGuid, String> GuidVersionMap;
146 static GuidVersionMap& guidToVersionMap()
147 {
148     // Ensure the the mutex is locked.
149     ASSERT(!guidMutex().tryLock());
150     DEFINE_STATIC_LOCAL(GuidVersionMap, map, ());
151     return map;
152 }
153
154 // NOTE: Caller must lock guidMutex().
155 static inline void updateGuidVersionMap(DatabaseGuid guid, String newVersion)
156 {
157     // Ensure the the mutex is locked.
158     ASSERT(!guidMutex().tryLock());
159
160     // Note: It is not safe to put an empty string into the guidToVersionMap() map.
161     // That's because the map is cross-thread, but empty strings are per-thread.
162     // The copy() function makes a version of the string you can use on the current
163     // thread, but we need a string we can keep in a cross-thread data structure.
164     // FIXME: This is a quite-awkward restriction to have to program with.
165
166     // Map null string to empty string (see comment above).
167     guidToVersionMap().set(guid, newVersion.isEmpty() ? String() : newVersion.isolatedCopy());
168 }
169
170 typedef HashMap<DatabaseGuid, HashSet<DatabaseBackendBase*>*> GuidDatabaseMap;
171 static GuidDatabaseMap& guidToDatabaseMap()
172 {
173     // Ensure the the mutex is locked.
174     ASSERT(!guidMutex().tryLock());
175     DEFINE_STATIC_LOCAL(GuidDatabaseMap, map, ());
176     return map;
177 }
178
179 static DatabaseGuid guidForOriginAndName(const String& origin, const String& name)
180 {
181     // Ensure the the mutex is locked.
182     ASSERT(!guidMutex().tryLock());
183
184     String stringID = origin + "/" + name;
185
186     typedef HashMap<String, int> IDGuidMap;
187     DEFINE_STATIC_LOCAL(IDGuidMap, stringIdentifierToGUIDMap, ());
188     DatabaseGuid guid = stringIdentifierToGUIDMap.get(stringID);
189     if (!guid) {
190         static int currentNewGUID = 1;
191         guid = currentNewGUID++;
192         stringIdentifierToGUIDMap.set(stringID, guid);
193     }
194
195     return guid;
196 }
197
198 // static
199 const char* DatabaseBackendBase::databaseInfoTableName()
200 {
201     return infoTableName;
202 }
203
204 DatabaseBackendBase::DatabaseBackendBase(PassRefPtr<DatabaseBackendContext> databaseContext, const String& name,
205     const String& expectedVersion, const String& displayName, unsigned long estimatedSize, DatabaseType databaseType)
206     : m_databaseContext(databaseContext)
207     , m_name(name.isolatedCopy())
208     , m_expectedVersion(expectedVersion.isolatedCopy())
209     , m_displayName(displayName.isolatedCopy())
210     , m_estimatedSize(estimatedSize)
211     , m_guid(0)
212     , m_opened(false)
213     , m_new(false)
214     , m_isSyncDatabase(databaseType == DatabaseType::Sync)
215 {
216     m_contextThreadSecurityOrigin = m_databaseContext->securityOrigin()->isolatedCopy();
217
218     m_databaseAuthorizer = DatabaseAuthorizer::create(infoTableName);
219
220     if (m_name.isNull())
221         m_name = "";
222
223     {
224         MutexLocker locker(guidMutex());
225         m_guid = guidForOriginAndName(securityOrigin()->toString(), name);
226         HashSet<DatabaseBackendBase*>* hashSet = guidToDatabaseMap().get(m_guid);
227         if (!hashSet) {
228             hashSet = new HashSet<DatabaseBackendBase*>;
229             guidToDatabaseMap().set(m_guid, hashSet);
230         }
231
232         hashSet->add(this);
233     }
234
235     m_filename = DatabaseManager::manager().fullPathForDatabase(securityOrigin(), m_name);
236 }
237
238 DatabaseBackendBase::~DatabaseBackendBase()
239 {
240     // SQLite is "multi-thread safe", but each database handle can only be used
241     // on a single thread at a time.
242     //
243     // For DatabaseBackend, we open the SQLite database on the DatabaseThread,
244     // and hence we should also close it on that same thread. This means that the
245     // SQLite database need to be closed by another mechanism (see
246     // DatabaseContext::stopDatabases()). By the time we get here, the SQLite
247     // database should have already been closed.
248
249     ASSERT(!m_opened);
250 }
251
252 void DatabaseBackendBase::closeDatabase()
253 {
254     if (!m_opened)
255         return;
256
257     m_sqliteDatabase.close();
258     m_opened = false;
259     // See comment at the top this file regarding calling removeOpenDatabase().
260     DatabaseTracker::tracker().removeOpenDatabase(this);
261     {
262         MutexLocker locker(guidMutex());
263
264         HashSet<DatabaseBackendBase*>* hashSet = guidToDatabaseMap().get(m_guid);
265         ASSERT(hashSet);
266         ASSERT(hashSet->contains(this));
267         hashSet->remove(this);
268         if (hashSet->isEmpty()) {
269             guidToDatabaseMap().remove(m_guid);
270             delete hashSet;
271             guidToVersionMap().remove(m_guid);
272         }
273     }
274 }
275
276 String DatabaseBackendBase::version() const
277 {
278     // Note: In multi-process browsers the cached value may be accurate, but we cannot read the
279     // actual version from the database without potentially inducing a deadlock.
280     // FIXME: Add an async version getter to the DatabaseAPI.
281     return getCachedVersion();
282 }
283
284 class DoneCreatingDatabaseOnExitCaller {
285 public:
286     DoneCreatingDatabaseOnExitCaller(DatabaseBackendBase* database)
287         : m_database(database)
288         , m_openSucceeded(false)
289     {
290     }
291     ~DoneCreatingDatabaseOnExitCaller()
292     {
293         DatabaseTracker::tracker().doneCreatingDatabase(m_database);
294     }
295
296     void setOpenSucceeded() { m_openSucceeded = true; }
297
298 private:
299     DatabaseBackendBase* m_database;
300     bool m_openSucceeded;
301 };
302
303 bool DatabaseBackendBase::performOpenAndVerify(bool shouldSetVersionInNewDatabase, DatabaseError& error, String& errorMessage)
304 {
305     DoneCreatingDatabaseOnExitCaller onExitCaller(this);
306     ASSERT(errorMessage.isEmpty());
307     ASSERT(error == DatabaseError::None); // Better not have any errors already.
308     error = DatabaseError::InvalidDatabaseState; // Presumed failure. We'll clear it if we succeed below.
309
310     const int maxSqliteBusyWaitTime = 30000;
311
312     if (!m_sqliteDatabase.open(m_filename, true)) {
313         errorMessage = formatErrorMessage("unable to open database", m_sqliteDatabase.lastError(), m_sqliteDatabase.lastErrorMsg());
314         return false;
315     }
316     if (!m_sqliteDatabase.turnOnIncrementalAutoVacuum())
317         LOG_ERROR("Unable to turn on incremental auto-vacuum (%d %s)", m_sqliteDatabase.lastError(), m_sqliteDatabase.lastErrorMsg());
318
319     m_sqliteDatabase.setBusyTimeout(maxSqliteBusyWaitTime);
320
321     String currentVersion;
322     {
323         MutexLocker locker(guidMutex());
324
325         GuidVersionMap::iterator entry = guidToVersionMap().find(m_guid);
326         if (entry != guidToVersionMap().end()) {
327             // Map null string to empty string (see updateGuidVersionMap()).
328             currentVersion = entry->value.isNull() ? emptyString() : entry->value.isolatedCopy();
329             LOG(StorageAPI, "Current cached version for guid %i is %s", m_guid, currentVersion.ascii().data());
330         } else {
331             LOG(StorageAPI, "No cached version for guid %i", m_guid);
332
333             SQLiteTransaction transaction(m_sqliteDatabase);
334             transaction.begin();
335             if (!transaction.inProgress()) {
336                 errorMessage = formatErrorMessage("unable to open database, failed to start transaction", m_sqliteDatabase.lastError(), m_sqliteDatabase.lastErrorMsg());
337                 m_sqliteDatabase.close();
338                 return false;
339             }
340
341             String tableName(infoTableName);
342             if (!m_sqliteDatabase.tableExists(tableName)) {
343                 m_new = true;
344
345                 if (!m_sqliteDatabase.executeCommand("CREATE TABLE " + tableName + " (key TEXT NOT NULL ON CONFLICT FAIL UNIQUE ON CONFLICT REPLACE,value TEXT NOT NULL ON CONFLICT FAIL);")) {
346                     errorMessage = formatErrorMessage("unable to open database, failed to create 'info' table", m_sqliteDatabase.lastError(), m_sqliteDatabase.lastErrorMsg());
347                     transaction.rollback();
348                     m_sqliteDatabase.close();
349                     return false;
350                 }
351             } else if (!getVersionFromDatabase(currentVersion, false)) {
352                 errorMessage = formatErrorMessage("unable to open database, failed to read current version", m_sqliteDatabase.lastError(), m_sqliteDatabase.lastErrorMsg());
353                 transaction.rollback();
354                 m_sqliteDatabase.close();
355                 return false;
356             }
357
358             if (currentVersion.length()) {
359                 LOG(StorageAPI, "Retrieved current version %s from database %s", currentVersion.ascii().data(), databaseDebugName().ascii().data());
360             } else if (!m_new || shouldSetVersionInNewDatabase) {
361                 LOG(StorageAPI, "Setting version %s in database %s that was just created", m_expectedVersion.ascii().data(), databaseDebugName().ascii().data());
362                 if (!setVersionInDatabase(m_expectedVersion, false)) {
363                     errorMessage = formatErrorMessage("unable to open database, failed to write current version", m_sqliteDatabase.lastError(), m_sqliteDatabase.lastErrorMsg());
364                     transaction.rollback();
365                     m_sqliteDatabase.close();
366                     return false;
367                 }
368                 currentVersion = m_expectedVersion;
369             }
370             updateGuidVersionMap(m_guid, currentVersion);
371             transaction.commit();
372         }
373     }
374
375     if (currentVersion.isNull()) {
376         LOG(StorageAPI, "Database %s does not have its version set", databaseDebugName().ascii().data());
377         currentVersion = "";
378     }
379
380     // If the expected version isn't the empty string, ensure that the current database version we have matches that version. Otherwise, set an exception.
381     // If the expected version is the empty string, then we always return with whatever version of the database we have.
382     if ((!m_new || shouldSetVersionInNewDatabase) && m_expectedVersion.length() && m_expectedVersion != currentVersion) {
383         errorMessage = "unable to open database, version mismatch, '" + m_expectedVersion + "' does not match the currentVersion of '" + currentVersion + "'";
384         m_sqliteDatabase.close();
385         return false;
386     }
387
388     ASSERT(m_databaseAuthorizer);
389     m_sqliteDatabase.setAuthorizer(m_databaseAuthorizer);
390
391     // See comment at the top this file regarding calling addOpenDatabase().
392     DatabaseTracker::tracker().addOpenDatabase(this);
393     m_opened = true;
394
395     // Declare success:
396     error = DatabaseError::None; // Clear the presumed error from above.
397     onExitCaller.setOpenSucceeded();
398
399     if (m_new && !shouldSetVersionInNewDatabase)
400         m_expectedVersion = ""; // The caller provided a creationCallback which will set the expected version.
401     return true;
402 }
403
404 SecurityOrigin* DatabaseBackendBase::securityOrigin() const
405 {
406     return m_contextThreadSecurityOrigin.get();
407 }
408
409 String DatabaseBackendBase::stringIdentifier() const
410 {
411     // Return a deep copy for ref counting thread safety
412     return m_name.isolatedCopy();
413 }
414
415 String DatabaseBackendBase::displayName() const
416 {
417     // Return a deep copy for ref counting thread safety
418     return m_displayName.isolatedCopy();
419 }
420
421 unsigned long DatabaseBackendBase::estimatedSize() const
422 {
423     return m_estimatedSize;
424 }
425
426 String DatabaseBackendBase::fileName() const
427 {
428     // Return a deep copy for ref counting thread safety
429     return m_filename.isolatedCopy();
430 }
431
432 DatabaseDetails DatabaseBackendBase::details() const
433 {
434     return DatabaseDetails(stringIdentifier(), displayName(), estimatedSize(), 0);
435 }
436
437 bool DatabaseBackendBase::getVersionFromDatabase(String& version, bool shouldCacheVersion)
438 {
439     String query(String("SELECT value FROM ") + infoTableName +  " WHERE key = '" + versionKey + "';");
440
441     m_databaseAuthorizer->disable();
442
443     bool result = retrieveTextResultFromDatabase(m_sqliteDatabase, query, version);
444     if (result) {
445         if (shouldCacheVersion)
446             setCachedVersion(version);
447     } else
448         LOG_ERROR("Failed to retrieve version from database %s", databaseDebugName().ascii().data());
449
450     m_databaseAuthorizer->enable();
451
452     return result;
453 }
454
455 bool DatabaseBackendBase::setVersionInDatabase(const String& version, bool shouldCacheVersion)
456 {
457     // The INSERT will replace an existing entry for the database with the new version number, due to the UNIQUE ON CONFLICT REPLACE
458     // clause in the CREATE statement (see Database::performOpenAndVerify()).
459     String query(String("INSERT INTO ") + infoTableName +  " (key, value) VALUES ('" + versionKey + "', ?);");
460
461     m_databaseAuthorizer->disable();
462
463     bool result = setTextValueInDatabase(m_sqliteDatabase, query, version);
464     if (result) {
465         if (shouldCacheVersion)
466             setCachedVersion(version);
467     } else
468         LOG_ERROR("Failed to set version %s in database (%s)", version.ascii().data(), query.ascii().data());
469
470     m_databaseAuthorizer->enable();
471
472     return result;
473 }
474
475 void DatabaseBackendBase::setExpectedVersion(const String& version)
476 {
477     m_expectedVersion = version.isolatedCopy();
478 }
479
480 String DatabaseBackendBase::getCachedVersion() const
481 {
482     MutexLocker locker(guidMutex());
483     return guidToVersionMap().get(m_guid).isolatedCopy();
484 }
485
486 void DatabaseBackendBase::setCachedVersion(const String& actualVersion)
487 {
488     // Update the in memory database version map.
489     MutexLocker locker(guidMutex());
490     updateGuidVersionMap(m_guid, actualVersion);
491 }
492
493 bool DatabaseBackendBase::getActualVersionForTransaction(String &actualVersion)
494 {
495     ASSERT(m_sqliteDatabase.transactionInProgress());
496     // Note: In multi-process browsers the cached value may be inaccurate.
497     // So we retrieve the value from the database and update the cached value here.
498     return getVersionFromDatabase(actualVersion, true);
499 }
500
501 void DatabaseBackendBase::disableAuthorizer()
502 {
503     ASSERT(m_databaseAuthorizer);
504     m_databaseAuthorizer->disable();
505 }
506
507 void DatabaseBackendBase::enableAuthorizer()
508 {
509     ASSERT(m_databaseAuthorizer);
510     m_databaseAuthorizer->enable();
511 }
512
513 void DatabaseBackendBase::setAuthorizerReadOnly()
514 {
515     ASSERT(m_databaseAuthorizer);
516     m_databaseAuthorizer->setReadOnly();
517 }
518
519 void DatabaseBackendBase::setAuthorizerPermissions(int permissions)
520 {
521     ASSERT(m_databaseAuthorizer);
522     m_databaseAuthorizer->setPermissions(permissions);
523 }
524
525 bool DatabaseBackendBase::lastActionChangedDatabase()
526 {
527     ASSERT(m_databaseAuthorizer);
528     return m_databaseAuthorizer->lastActionChangedDatabase();
529 }
530
531 bool DatabaseBackendBase::lastActionWasInsert()
532 {
533     ASSERT(m_databaseAuthorizer);
534     return m_databaseAuthorizer->lastActionWasInsert();
535 }
536
537 void DatabaseBackendBase::resetDeletes()
538 {
539     ASSERT(m_databaseAuthorizer);
540     m_databaseAuthorizer->resetDeletes();
541 }
542
543 bool DatabaseBackendBase::hadDeletes()
544 {
545     ASSERT(m_databaseAuthorizer);
546     return m_databaseAuthorizer->hadDeletes();
547 }
548
549 void DatabaseBackendBase::resetAuthorizer()
550 {
551     if (m_databaseAuthorizer)
552         m_databaseAuthorizer->reset();
553 }
554
555 unsigned long long DatabaseBackendBase::maximumSize() const
556 {
557     return DatabaseTracker::tracker().getMaxSizeForDatabase(this);
558 }
559
560 void DatabaseBackendBase::incrementalVacuumIfNeeded()
561 {
562     int64_t freeSpaceSize = m_sqliteDatabase.freeSpaceSize();
563     int64_t totalSize = m_sqliteDatabase.totalSize();
564     if (totalSize <= 10 * freeSpaceSize) {
565         int result = m_sqliteDatabase.runIncrementalVacuumCommand();
566         if (result != SQLResultOk)
567             m_frontend->logErrorMessage(formatErrorMessage("error vacuuming database", result, m_sqliteDatabase.lastErrorMsg()));
568     }
569 }
570
571 void DatabaseBackendBase::interrupt()
572 {
573     m_sqliteDatabase.interrupt();
574 }
575
576 bool DatabaseBackendBase::isInterrupted()
577 {
578     MutexLocker locker(m_sqliteDatabase.databaseMutex());
579     return m_sqliteDatabase.isInterrupted();
580 }
581
582 } // namespace WebCore
583
584 #endif // ENABLE(SQL_DATABASE)