django - 在 10 个并发 uwsgi worker 上锁定 Django DB - 怎么做？

Question

什么是最优雅的方式

在我进行复杂事务(读取、决定、写入)时锁定 Django 数据库

...在此期间其他 uwsgi worker 不应该访问(或者至少没有 write 访问)该表？

我正在使用 Django + db.sqlite3 + uwsgi (+ nginx)。

非常感谢!

---

编辑 1:

太棒了，当然Django本身就解决了这个问题。比我预期的要容易得多。很好，我四处询问!

这是我用黄色标记突出显示的版本 http://marker.to/W0CbtZ手册页 https://docs.djangoproject.com/en/1.7/topics/db/transactions/关于交易。

谢谢，IRC :-)

---

编辑 2:

我实际上是在寻找一个数据库锁，所有进程都在等待，直到轮到它们。

我今天学到的，我现在实现:

try: 
   with transaction.atomic():
      foo(obj)
      obj.save()     # (*)
except IntegrityError:
   print "debug information"

所以我永远不会得到不一致的数据库。但现在 (*) 抛出异常“OperationalError:数据库已锁定”(this suggestion 也无济于事)。我明白这一点，因为有数十个这样的事务试图同时保存到数据库。

我更需要的是类似

lock = threading.Lock()
...
with lock:
    foo(obj)
    obj.save()

但不是线程，因为它需要锁定所有 uwsgi worker 进程。

欢迎任何想法。最优雅的方法是什么？现在要查看手册的哪一部分？我已经用谷歌搜索了，但没有找到答案——这就是我在这里问的原因。

非常感谢。

---

编辑 3:

因为我仍然有一小部分“OperationalError: database is locked”失败(即使有 my threading.Lock )，我实现了@knbk 的建议 - 但它没有用，这是输出:

up to here all is fine
ALERT! cannot start a transaction within a transaction
Out[]: False

这是我按照@knbk 的 code example 实现的方式:

from django.db import connection

def foobar():
    cursor = connection.cursor()
    cursor.execute('BEGIN IMMEDIATE')  # also tried 'BEGIN EXCLUSIVE'
    try:
        myObjects = myModel.objects.filter(myFilter="myfilter")
        if myCondition(myObjects) > 0:
            obj = myObjects[0]
            print "up to here all is fine"
            obj.save()                                          
    except Exception as e:
        connection.rollback()
        print "ALERT!", e
        return False
    finally:
        connection.commit()
    return True

那么……现在怎么办？

---

编辑 4:

现在我自己解决了。我写了一个完整的 lockbydir.DLock 类，它使用目录存在和年龄 - 用于跨进程锁定!现在我可以简单地锁定对 Django 数据库的访问，而不管使用哪个数据库。很高兴。也许你想看看？这是 GIT:

https://github.com/drandreaskrueger/lockbydir

请参阅自述文件。甚至还有 3 个 GIT 播放器可以观看代码示例在您的浏览器中实时执行!太好了，不是吗？ ;-)

感谢您的时间和关注!

Answer 1

获取锁的正确语句是BEGIN IMMEDIATE 和BEGIN EXCLUSIVE。第一个将获得一个锁，以防止其他进程获得写锁。第二个将获得一个锁，该锁还可以防止其他进程获得读锁。

Django 不提供高级 API 来执行这些语句。相反，您必须使用数据库游标直接执行这些语句:

from django.db import connection

cursor = connection.cursor()
cursor.execute('BEGIN IMMEDIATE')
try:
    my_objs = Model.objects.filter(...)
    etc...
except:
    connection.rollback()
finally:
    connection.commit()

免责声明:请注意，此方法，尤其是COMMIT EXCLUSIVE，将获取整个数据库的锁。 Sqlite 不支持行或表级锁定。在锁定期间，没有其他进程能够写入数据库的任何部分，并且使用独占锁它们甚至无法读取。如果这是一个频繁的操作，或者您有一个写入量很大的数据库，请考虑使用 MySQL 或 PostgreSQL，它们都支持行/表级锁定。如果您的站点需要 10 个并发工作人员，那无论如何这可能是个好主意。