python - Tensorflow 无法在评估过程中恢复词汇

Question

我是 tensorflow 和神经网络的新手。我开始了一个关于检测波斯文本错误的项目。我使用了 this address 中的代码并在 here 中开发了代码.请检查代码，因为我无法将所有代码放在这里。

我想做的是把几个波斯语句子给模型训练，然后看看模型能不能检测出错误的句子。该模型适用于英语数据，但当我将其用于波斯语数据时，我遇到了这个问题。

代码太长，无法写在这里，所以我试着指出我认为可能导致问题的部分。我在 train.py 中使用了这些行，它工作正常并存储词汇表:

x_text, y = data_helpers.load_data_labels(datasets)
# Build vocabulary
max_document_length = max([len(x.split(" ")) for x in x_text])
vocab_processor = learn.preprocessing.VocabularyProcessor(max_document_length)
x = np.array(list(vocab_processor.fit_transform(x_text)))

然而，当我在 eval.py 中尝试这段代码时训练之后:

vocab_path = os.path.join(FLAGS.checkpoint_dir, "..", "vocab")
vocab_processor = learn.preprocessing.VocabularyProcessor.restore(vocab_path)
x_test = np.array(list(vocab_processor.transform(x_raw)))

发生此错误:

vocab_processor = learn.preprocessing.VocabularyProcessor.restore(vocab_path)
File "C:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\site-packages\tensorflow\contrib\learn\python\learn\preprocessing\text.py", line 226, in restore
return pickle.loads(f.read())
File "C:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 118, in read
self._preread_check()
 File "C:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\site-packages\tensorflow\python\lib\io\file_io.py", line 78, in _preread_check
  compat.as_bytes(self.__name), 1024 * 512, status)
 File "C:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\contextlib.py", line 66, in __exit__
 next(self.gen)
 File "C:\WinPython-64bit-3.5.2.3Qt5\python-3.5.2.amd64\lib\site-packages\tensorflow\python\framework\errors_impl.py", line 466, in raise_exception_on_not_ok_status
pywrap_tensorflow.TF_GetCode(status))
tensorflow.python.framework.errors_impl.NotFoundError: NewRandomAccessFile failed to Create/Open: ..\vocab : The system cannot find the file specified.

我认为问题是因为它无法读取训练后存储的词汇表，因为数据是 unicode 而不是英语。谁能帮帮我

Answer 1

出现这个问题的原因是vocab地址不正确。在设置了 out_dir 的第 144 行之后的 train.py 中，我添加了以下内容:

file = open('model_dir.txt', 'w')
file.write(out_dir)
file.close()

模型训练完成后，地址保存在model_dir.txt文件目录下。

然后在 eval.py 中我添加了这个:

model_dir = open('model_dir.txt').readline()
vocab_path = model_dir + "/vocab"

现在，地址设置正确，代码可以正常工作。