machine-learning - 在这种情况下，我可以说我的数据很糟糕，并且使用机器学习不会取得任何成果

Question

有关我的数据集的一般信息:我有 40k 数据点和 5 个特征。我正在做回归并尝试建立一个可以预测 GPS 误差的模型。例如，假设您的车辆 GPS 出现 10 米的误差，并且您想要纠正它。因此，我带来了另一个 super GPS，它非常准确，在驾驶时测量了 40k 数据，因此在我的数据集中，我有一些车辆信息，包括速度、加速度、偏航率、时间戳和车轮角度，还有位置信息，即地面真实经度纬度以及我的普通 GPS 的错误经度和纬度。我将这些纬度和经度转换为 x 和 y，只是为了知道我应该将虚假经度和纬度移动多少，以便我的位置可以更准确并且与地面实况值相似。在这种情况下我的数据会很糟糕吗？我正在尝试预测 GPS 产生的经度和纬度误差，以便我稍后可以纠正它，所以这是一个回归问题，我正在使用上面的这些功能来做到这一点，我认为它们提供了信息，因为速度、加速度、偏航率和车轮角度以某种方式与位置相关(我错了吗？)

我一般性地问这个问题，我在互联网上读了一些文章，说数据有时很差或数据质量很差，但我不知道这神秘的句子的真正含义。

在训练神经网络时，我也遇到了一个问题，即我的损失在前 10-20 个时期开始减少，然后它停留在某个高值上，并且网络停止学习，就像它正在努力摆脱该损失值一样但它不能。我尝试只使用 100 个数据点而不是所有 40k 个数据点，我注意到它效果很好，神经网络实现了适应这些数据点，但随着我增加数据点的数量，性能变得更差(您对此有什么想法吗？)

有些人建议我没有很多数据和很多特征，在这种情况下，最好使用一些机器学习方法，因为在小数据集或者我的例子中特征很少的情况下，它的性能优于神经网络所以我也尝试使用随机森林，我注意到它比神经网络给出了更好的结果，但它也不能很好地概括，即使它在训练和验证集上给了我很好的结果，当我在测试数据上尝试时(数据随机森林从未见过)，它的表现非常糟糕。

所以我在互联网上阅读可能导致这些问题的原因，我注意到有时会看到有人或文章声称数据质量可能很差!但这到底意味着什么呢？我认为神经网络可以映射任何类型的数据，如果我有一个特征和一个目标，那么神经网络可以将这两者映射在一起，至少它可以过度拟合数据，对吗？

有人可以告诉我什么是坏数据，或者更好的是我如何知道我的数据是否坏？好吧，如果有一种方法可以知道这一点，那么我可能会节省时间，而不会开始从事一个需要我一个月才能完成的项目，然后发现我的数据很糟糕。另外你能告诉我我的情况是否有意义吗？我的意思是，我觉得很奇怪，神经网络的性能非常差，比随机森林还要差。至少我的神经网络应该过度拟合数据，还是我错了？

编辑

所以我将发布我的数据的热图和配对图图像，也许这会让我更容易理解我的数据。与目标的相关性不好，这就是为什么我认为我的数据对于这项任务来说可能没有信息。这是配对图。 xdistance 和 ydistance 是我想要预测的目标

热图

热图

Answer 1

了解数据是否不良的唯一方法是进行“数据探索”。找出特征之间是否存在很强的相关性，检查是否存在缺失值或许多异常值，并绘制数量图。

您描述的问题通常是用卡尔曼滤波器解决的(查看传感器融合)。这听起来像是一个可以解决的问题，并且肯定 40k 数据点对于神经网络来说并不算太小。

也许您只是在数据规范化方面做错了什么，或者您的网络架构很糟糕。
尝试将小数据集和大数据集的训练和测试损失图添加到问题中，这会很有帮助。

如果没有看到实际数据和一些代码，很难说更多。