machine-learning - 从本地运行 ML 训练和测试迁移到 Google Cloud

Question

我目前有一个在本地运行的简单机器学习基础架构，我想将其全部迁移到 Google Cloud 上。我只需从数据库中获取所需的数据，构建模型，然后根据测试数据测试模型。这一切都是在本地 PyCharm 中完成的。

我想简单地迁移它，并有可能在 Google Cloud 上完成所有这一切，同时可以灵活地进行本地更改，这些更改也可以在云上运行时应用。有许多与此相关的 Google Cloud 资源，因此我正在寻找人们在运行此类过程时遵循的最佳实践。

谢谢，如果需要任何说明，请告诉我。

Answer 1

我强烈建议您查看一下云中的机器学习工作流程，其中包括:

• 数据摄取和收集
• 存储数据。
• 处理数据。
• 机器学习培训。
• 机器学习部署。

数据摄取和收集

如果您想通过 Google Cloud Platform 提取数据，可以使用多种资源。我可以向您推荐的最简单的解决方案都是 Google Compute Engine或 App Engine App (例如，对于用户填写一些数据的论坛)。

尽管如此，如果您想实时提取数据，也可以使用 Cloud Pub/Sub。

存储数据

正如您所提到的，您正在从数据库中检索所有信息。如果您习惯使用 SQL 或 NoSQL，我强烈建议您关注 Cloud SQL 。不仅在构建实例时提供良好的界面，而且还允许您安全、快速地访问它。

如果不是这种情况，您也可以使用Google Cloud Storage或BigQuery ，但在这两个方面，我会选择 BigQuery，因为它还可以处理流数据。

处理数据

要在将数据输入模型之前处理数据，您可以使用:

• Cloud DataFlow :Cloud Dataflow 是一项完全托管的服务，用于以流(实时)和批处理(历史)模式转换和丰富数据，具有同等的可靠性和表现力 - 无需更复杂的解决方法或妥协。
• Cloud Dataproc :Dataproc 是一种快速、易于使用、完全托管的云服务，用于以更简单、更具成本效益的方式运行 Apache Spark 和 Apache Hadoop 集群。
• Cloud Dataprep :Trifacta 的 Cloud Dataprep 是一项智能数据服务，用于直观地探索、清理和准备结构化和非结构化数据以进行分析、报告和机器学习。

机器学习训练和机器学习部署

对于训练/部署您的 ML 模型，我建议使用 AI platform .

AI Platform makes it easy for machine learning developers, data scientists, and data engineers to take their ML projects from ideation to production and deployment, quickly and cost-effectively.

如果您必须处理庞大的数据集，最佳实践是使用 AI Platform 将模型作为 Tensorflow 作业运行，这样您就可以拥有一个训练集群。

最后，要使用 AI Platform 部署模型，您可以查看 here.