python - 摆脱从语料库生成文档的错误

Question

我在计算机上存储的lsm-db中有1000个文档集(经过编码和压缩)。当我尝试解压缩和解码时，出现错误消息“错误的标题检查”。

这就是我在做什么:

for key in my_lsm_db.keys():
    print key, zlib.decompress(my_lsm_db[key], zlib.MAX_WBITS|32).decode('utf-8')

处理了几个键后，代码将引发错误。我收到的错误是: error: Error -3 while decompressing data: incorrect header check
我想从语料库中删除所有此类错误生成文档。如何识别产生错误的文档，以便将其删除？

def remove_docs(my_lsm_db):
    for key in my_lsm_db.keys():
        ## write code that identifies an error when generated
        if <code that identifies document generating error>:
            del my_lsm_db[key]

以下是有关Zlib和 MAX_WBITS部分代码的信息: Zlib Compression， Stack Overflow Answer for Zlib Automatic Header Detection

Answer 1

我尝试在代码周围使用try/except块来克服此类错误生成文档。它不仅适用于上述代码，还适用于其他内容。

try:
    <code to execute>
except (<list of errors>) as e:
    print e