machine-learning - 机器学习的真实例子？

Question

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post .

5年前关闭。




Improve this question




最近，我正在 Coursera 上 Andrew Ng 教授的机器学习类(class)。完成本类(class)后，我了解了机器学习算法的基础知识，但我有以下问题:

我在哪里可以找到真实世界的机器学习用例示例？

机器的工业/生产中使用了哪些工具或框架
学习项目？

如何在生产中使用或部署机器学习模型？

如何成为数据科学家？或者我接下来应该做什么？

任何建议、书籍、类(class)或教程链接将不胜感激。

Answer 1

恭喜你完成了 Andrew Ng 的机器学习类(class)，很久以前我也完成了这门很棒的类(class)。
无论如何，所以我会一一回答您的问题，尽管很少有相互关联的问题。

Q-1) 在哪里可以找到真实世界的机器学习用例示例？

以下是一些链接，您可以在其中找到具有实际用例的机器学习教程:

机器学习示例 Scikit 学习:http://scikit-learn.org/stable/tutorial/basic/tutorial.html

机器学习教程 H20:https://github.com/h2oai/h2o-tutorials

Sagemaker 机器学习和深度学习示例:https://github.com/awslabs/amazon-sagemaker-examples

Tutorials on real-world Machine Learning Case Studies

Q-2) 工业/机器生产中使用了哪些工具或框架
学习项目？

工业级使用了各种各样的工具或框架，例如:

机器学习:

R(现在主要用于学术界)

Python(Sci-kit 学习)

GraphLab

Apache Mahout

Spark MLlib

H20

深度学习:

Tensorflow 和 Keras

Mxnet

pytorch

DeepLearning4j

Analytics Zoo(主要用于使用 spark 进行大数据深度学习)

虽然 R、Scikit learn、GraphLab 在数据科学家或机器学习从业者中最流行的单机和最流行的选择上效果很好，但 Mahout、H20 和最近的 Spark(MLlib)在这个大数据时代已经获得了很多流行，你想要对不适合单台机器的大型数据集进行机器学习。

此外，还有一些其他工具，如 Weka、Rapid Miner，用于基于 GUI 的机器学习工作流程。

该工具或框架的选择实际上取决于项目要求、团队成员对工具/语言的了解、开发的难易程度和部署的可扩展性等因素。

Q-3) 如何在生产中使用或部署机器学习模型？

在生产中，您必须首先构建一个模型，验证和评估该模型，然后将该模型最终部署为 Web/rest 服务，以供其他应用程序/服务使用。部署机器学习模型取决于很多因素，例如-

模型是离线训练的吗？或者您正在部署在线学习模型？

你多久重新训练你的模型？

您将如何测试新版本的模型？ - A/B 测试或 Bandit 变体。

以及其他通用的东西 - 延迟、吞吐量、数据输入/输出格式等。

有一些基于云的机器学习服务提供商，如 Azure ML( https://studio.azureml.net/) BigML( https://bigml.com/) 等，您可以在其中上传数据集，进行一些数据处理，训练|验证|评估您的机器学习模型，然后最后将其部署为云中的 Web 服务。

现在所有主要的云平台(aws、google cloud、azure)都为您提供了一个机器学习平台，您可以在其中构建自己的模型，对其进行评估，然后最终将其部署在云中。它使您可以灵活地使用几乎所有主要的机器学习或深度学习框架构建模型，并根据您的要求为您提供部署的灵活性(服务器/容器的类型、推理/预测服务器的数量等)。

亚马逊 SageMaker:

[+] https://aws.amazon.com/sagemaker/

谷歌云机器学习 (ML) 引擎:

[+] https://cloud.google.com/ml-engine/

Q-4) 如何成为数据科学家？或者我接下来应该做什么？

这是一个值(value)一百万美元的问题，在这个问题上有很多谷歌搜索......哈哈......我会根据我的知识尝试给你一个简短而简洁的答案。首先，数据科学是一个更广泛的研究领域，包括以下常见步骤:

业务理解或质疑阶段

数据收集或获取

数据处理与准备

模型搭建

验证与评估

除此之外，您还需要根据数据可变性的变化进行模型再训练，或者您可以部署在线学习模型(它会根据所看到的数据进行自我调整)。

但是任何人成为数据科学家/机器学习从业者的基本要素是对数据有好奇心(即理解数据并从中找到有值(value)的知识)。成为数据科学家没有捷径，也没有任何类(class)可以让你一夜之间成为数据科学家。

数据科学人员在公司的日常工作中没有预定义的角色/范围。不同的行业或公司根据他们的业务问题对数据科学家有自己的工作要求/描述。

一个优秀的多才多艺的数据科学家必须具备以下技能，才能自信地在各个行业中生存并在他/她的职业生涯中取得成功:

良好的统计学知识(包括一点贝叶斯)——在 EDA 阶段必不可少。

数学(尤其是线性代数、矩阵、向量、多元微积分):https://www.coursera.org/specializations/mathematics-machine-learning

良好的机器学习算法实践知识:https://www.coursera.org/specializations/machine-learning

一些深度学习和强化学习知识。斯坦福深度学习类(class):http://cs231n.stanford.edu/ Andrej Karpathy 制作的本类(class)的 YouTube 视频- https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1Zxk .还有深度学习 Coursera:https://www.coursera.org/specializations/deep-learning和强化学习类(class) - 伯克利大学:http://rail.eecs.berkeley.edu/deeprlcourse/

通过 Spark 和 SQL 等大数据工具进行大数据集分析。大数据机器学习:https://www.coursera.org/learn/machine-learning-applications-big-data

探索数据和学习新事物的好奇心(及时了解该领域的最新创新)。

还有一些商业领域的知识 - 很好(可选)

最好的方法是玩数据或做一些现实世界的项目。
许多公开可用的真实世界数据集，您可以选择您感兴趣的数据集。此外，您可以通过参加 Kaggle 的机器学习和数据科学竞赛来测试您的技能和专业知识。

要获得有关数据科学的一些知识，它是如何工作的以及一些动手练习，您可以尝试在线类(class)，例如:

https://www.edx.org/course/introduction-computational-thinking-data-mitx-6-00-2x-2

https://www.edx.org/course/data-science-machine-learning-essentials-microsoft-dat203x