tensorflow - 在 Google Cloud ML 中提交工作培训时出错

Question

我目前正在尝试使用 Facenet(一个用于人脸识别的 Tensorflow 库)在 Google Cloud ML 上提交工作培训。我目前正在尝试这个 (link is here) 库的一部分，用于对模型进行训练。

转到 Google Cloud ML，我正在学习本教程 (link is here) 它教您如何提交培训。

我能够成功向 Google Cloud ML 提交工作培训，但出现错误。以下是错误的一些图片:

这是来自 Google Cloud Jobs 日志的错误

这里有关于 Google Cloud 作业日志的更详细的图片

提交作业请求成功，它甚至在等待 Tensorflow 启动，但紧接着就出现了该错误。

我用来运行这个的命令在这里:

gcloud ml-engine jobs submit training facetraining_test4 \
--package-path=/Users/myname/Documents/projects/tf-projects/facenet/src/ \
--module-name=/Users/myname/Documents/projects/tf-projects/facenet/src/facenet_train_classifier.py \
--staging-bucket=gs://facenet-training-test \
--region=asia-east1 \
--config=/Users/myname/Documents/projects/tf-projects/facenet/none_config.yml  \
-- \
--logs_base_dir=/Users/myname/Documents/projects/tf-projects/logs/facenet/ \
--models_base_dir=/Users/myname/Documents/projects/tf-projects/models/facenet/ \
--data_dir=/Users/myname/Documents/projects/tf-projects/facenet_datasets/employee_dataset/employee/employee_maxpy_mtcnnpy_182/ \
--image_size=160 \
--model_def=models.inception_resnet_v1 \
--lfw_dir=/Users/myname/Documents/projects/tf-projects/facenet_datasets/lfw/lfw_mtcnnpy_160/ \
--optimizer=RMSPROP \
--learning_rate -1  \
--max_nrof_epochs=80 \
--keep_probability=0.8 \
--learning_rate_schedule_file=/Users/myname/Documents/projects/tf-projects/facenet/data/learning_rate_schedule_classifier_casia.txt \
--weight_decay=5e-5  \
--center_loss_factor=1e-4  \

关于如何解决这个问题有什么建议吗？谢谢!

Answer 1

当您在 Cloud ML Engine 上运行时，您是在远程环境中运行；因此文件路径不会与本地环境相同。如果您需要导入 python 模块，您需要将它们包含在您构建的 Python 包中，然后使用包名称导入它们。

有关如何构建包的文档，请参阅 SetupTools docs

这是 30 秒的版本

1. 按如下方式组织代码

    my_package/__init__.py
    my_package/moduleA.py
    my_package/moduleB.py
    my_package/...
    setup.py

1. 对于您的 setup.py 文件，以此开头

    from setuptools import find_packages    from setuptools import setup    REQUIRED_PACKAGES = []    setup(        name='my_package',        version='0.1.1',        author='Author',        author_email='author@gmail.com',        install_requires=REQUIRED_PACKAGES,        packages=find_packages(),        description='Description',        requires=[],)

1. 构建如下包

python ./setup.py sdist

1. 当包安装在 Cloud ML Engine 中时，您将能够将您的代码导入为

from my_package import moduleA