sql - 尝试删除重复的图像时出现django.db.utils.IntegrityError

Question

我有以下代码从我计算出的感知哈希中删除重复图像。

images = Image.objects.all()
images_deleted = 0
for image in images:
    duplicates = Image.objects.filter(hash=image.hash).exclude(pk=image.pk).exclude(hash="ffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffffff")
    for duplicate in duplicates:
        duplicate_tags = duplicate.tags.all()
        image.tags.add(*duplicate_tags)
        duplicate.delete()
        images_deleted+=1
        print(str(images_deleted))

运行它，我得到以下异常:

django.db.utils.IntegrityError: insert or update on table "crawlers_image_tags" violates foreign key constraint "crawlers_image_t_image_id_72a28d1d54e11b5f_fk_crawlers_image_id"

DETAIL: Key (image_id)=(5675) is not present in table "crawlers_image".

任何人都可以弄清楚到底是什么问题吗？

编辑:

楷模:

class Tag(models.Model):
    name = models.CharField(max_length=100)

    def __str__(self):
        return self.name

class Image(models.Model):

    origins = (
        ('PX', 'Pexels'),
        ('MG', 'Magdeleine'),
        ('FC', 'FancyCrave'),
        ('SS', 'StockSnap'),
        ('PB', 'PixaBay'),
        ('TP', 'tookapic'),
        ('KP', 'kaboompics'),
        ('PJ', 'picjumbo'),
        ('LS', 'LibreShot')  
    )

    source_url = models.URLField(max_length=400)
    page_url = models.URLField(unique=True, max_length=400)
    thumbnail = models.ImageField(upload_to='thumbs', null=True)
    origin = models.CharField(choices=origins, max_length=2)
    tags = models.ManyToManyField(Tag)
    hash = models.CharField(max_length=200)

    def __str__(self):
        return self.page_url

    def create_hash(self):
        thumbnail = Imagelib.open(self.thumbnail.path)
        thumbnail = thumbnail.convert('RGB')
        self.hash = blockhash(thumbnail, 24)
        self.save(update_fields=["hash"])

    def create_thumbnail(self, image_url):
        if not self.thumbnail:
            if  not image_url:
                image_url = self.source_url
            headers = {
                'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36',
            }
            for i in range(5):
                r = requests.get(image_url, stream=True, headers=headers)
                if r.status_code != 200 and r.status_code!= 304:
                    print("error loading image url status code: {}".format(r.status_code))
                    time.sleep(2)
                else:
                    break

            if r.status_code != 200 and r.status_code!= 304:
                    print("giving up on this image, final status code: {}".format(r.status_code))
                    return False

            # Create the thumbnail of dimension size
            size = 500, 500
            img = Imagelib.open(r.raw)
            thumb = ImageOps.fit(img, size, Imagelib.ANTIALIAS)

            # Get the image name from the url
            img_name = os.path.basename(image_url.split('?', 1)[0])


            file_path = os.path.join(djangoSettings.MEDIA_ROOT, "thumb" + img_name)
            thumb.save(file_path, 'JPEG')

            # Save the thumbnail in the media directory, prepend thumb
            self.thumbnail.save(
                img_name,
                File(open(file_path, 'rb')))

            os.remove(file_path)
            return True

Answer 1

让我们逐步检查您的代码。

假设您的数据库中有3张图片(为简单起见，我跳过了不相关的字段):

Image(pk=1, hash="d2ffacb...e3')
Image(pk=2, hash="afcbdee...77')
Image(pk=3, hash="d2ffacb...e3')

如我们所见，第一张和第三张图片具有完全相同的哈希值。假设您所有的图片都有一些标签。现在回到您的代码。让我们检查一下第一次迭代会发生什么:

所有具有相同哈希值的图像将从数据库中获取，这仅是图像pk=3

遍历这些图像会将所有标签从该重复项复制到原始副本。没有任何错误。

遍历该图像还将删除它们。

因此，在第一次迭代之后，带有 pk=3的图像不再存在。

下一次迭代，图像 pk=2。什么都不会发生，因为没有重复项。

下一次迭代，图像 pk=3。

所有具有相同哈希值的图像将从数据库中获取，这仅是图像pk=1

遍历这些图像会将所有标签从该重复项复制到原始副本。但是，等等...数据库中没有图像pk=3，我们无法为其分配任何标签。这将抛出您的IntegrityError。

为了避免这种情况，您应该只从数据库中仅获取外部for循环中的原始数据库。为此，您可以执行以下操作:

images = Image.objects.distinct('hash')

您还可以在此处添加一些顺序，因此总会获取例如ID较低的图像作为原始图像:

images = Image.objects.order_by('id').distinct('hash')