machine-learning - 从 3D 模型制作经过训练的模型(机器学习)

Question

我有一个包含近 20k 3D 文件的数据库，它们是在 CAD 软件(solidworks)中设计的机器零件的图纸。我正在尝试从所有这些 3D 模型中构建一个经过训练的模型，因此当有人可以从其中一个部分(在现实世界中)拍摄照片时，我可以构建一个 3D 对象识别应用程序，并且该应用程序可以提供有关 Material 的有用信息，尺寸、处理方式等。

如果有人已经做了类似的事情，您可以向我提供的任何信息将不胜感激!

Answer 1

一些想法:

1) 多张图片:而不是只有一张。如Rodrigo评论并 Brad Larson尝试用他的方法规避，用户只拍摄一张图片作为输入的问题是，您必然缺乏进行三角测量并形成点云的信息3D。通过从稍微不同的角度拍摄的 4 张照片，您已经可以重建对象的部分内容。比较点云将使任何机器学习算法、神经网络 (NN)、支持向量机 (SVM) 或其他算法的工作变得更加容易。创建点云的通用标准是 ASTM E2807，它使用 e57 文件格式。

缺点是 3D 视觉算法可能会对用户的设备造成沉重负担，并且不是最容易实现的。

2) 人工图片训练:通过像 Brad Larson 建议的那样对预先计算的人工图片进行训练，您可以接管大部分计算，从而为用户带来好处。请注意，您可能应该使用从图片中提取的“特征”，而不是完整的图片来进行训练和分类。此方法的问题是您可能对光照和背景环境非常敏感。您应该注意生成对所有对象都具有相同闪电条件的 CAD 图片，以便分类器不会过度拟合不属于该对象的“图片”的某些方面。

这方面是解决方案 1) 更加稳定的地方，它对视觉上下文不太敏感。

3) 比例:对象的大小是一个重要的描述符。因此，您应该在训练之前将比例信息添加到对象描述符中。您可以要求用户使用引用对象拍照。或者，您可以要求用户对对象尺寸进行经验法则估计(“对象的大致尺寸是多少，以 [cm] 为单位？”)。提供大小可以使您的算法明显更快、更准确。