python - 神经网络与随机森林的性能差异

Question

我想使用 PyTorch 对神经网络进行一些实验，所以我尝试了一个简单的实验作为热身练习，但我不太了解结果。

该练习试图从变量数量、最大子句长度等问题的各种统计数据中预测 1000 个 TPTP 问题的评级。数据文件 https://github.com/russellw/ml/blob/master/test.csv非常简单，1000 行，最后一列是评级，从几十个输入列开始，所有数字都缩放到 0-1 范围内，我逐渐删除特征以查看结果是否仍然成立，它确实如此，一直到一个输入列；其他的是 Git 历史中以前的版本。

我开始使用单独的训练和测试集，但暂时搁置了测试集，因为关于训练性能是否泛化到测试的问题在首先获得训练性能之前不会出现。

此数据集的简单线性回归的均方误差约为 0.14。

我实现了一个简单的前馈神经网络，代码在 https://github.com/russellw/ml/blob/master/test_nn.py 中并在下面复制，经过几百个训练周期后，均方误差也为 0.14。

所以我尝试将隐藏层的数量从 1 更改为 2 再到 3，使用一些不同的优化器，调整学习率，将激活函数从 relu 切换到 tanh 再到两者的混合，将 epoch 的数量增加到5000，将隐藏单元的数量增加到1000。此时，它应该很容易就能记住整个数据集。 (在这一点上，我并不担心过度拟合。我只是想让训练数据的均方误差不是 0.14。)没有任何区别。仍然是 0.14。我会说它一定会陷入局部最优，但是当你有几百万个权重时，这不应该发生；几乎不可能同时对所有参数都处于局部最优。我确实在每次运行时得到略有不同的数字序列。但它总是收敛到 0.14。

现在显而易见的结论是 0.14 对这个问题来说是最好的，除了它保持不变，即使网络有足够的内存来记住所有数据。但关键是我还尝试了随机森林，https://github.com/russellw/ml/blob/master/test_rf.py

...随机森林在原始数据集上的均方误差为 0.01，随着特征被删除而优雅地降级，在只有一个特征的数据上仍然为 0.05。

在机器学习的知识中没有任何地方说过“随机森林远远优于神经网络”，所以我大概做错了什么，但我看不出它是什么。也许它只是缺少一个标志或您需要在 PyTorch 中设置的东西一样简单。如果有人可以看一下，我将不胜感激。

import numpy as np
import pandas as pd
import torch
import torch.nn as nn

# data
df = pd.read_csv("test.csv")
print(df)
print()

# separate the output column
y_name = df.columns[-1]
y_df = df[y_name]
X_df = df.drop(y_name, axis=1)

# numpy arrays
X_ar = np.array(X_df, dtype=np.float32)
y_ar = np.array(y_df, dtype=np.float32)

# torch tensors
X_tensor = torch.from_numpy(X_ar)
y_tensor = torch.from_numpy(y_ar)

# hyperparameters
in_features = X_ar.shape[1]
hidden_size = 100
out_features = 1
epochs = 500

# model
class Net(nn.Module):
    def __init__(self, hidden_size):
        super(Net, self).__init__()
        self.L0 = nn.Linear(in_features, hidden_size)
        self.N0 = nn.ReLU()
        self.L1 = nn.Linear(hidden_size, hidden_size)
        self.N1 = nn.Tanh()
        self.L2 = nn.Linear(hidden_size, hidden_size)
        self.N2 = nn.ReLU()
        self.L3 = nn.Linear(hidden_size, 1)

    def forward(self, x):
        x = self.L0(x)
        x = self.N0(x)
        x = self.L1(x)
        x = self.N1(x)
        x = self.L2(x)
        x = self.N2(x)
        x = self.L3(x)
        return x


model = Net(hidden_size)
criterion = nn.MSELoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.1)

# train
print("training")
for epoch in range(1, epochs + 1):
    # forward
    output = model(X_tensor)
    cost = criterion(output, y_tensor)

    # backward
    optimizer.zero_grad()
    cost.backward()
    optimizer.step()

    # print progress
    if epoch % (epochs // 10) == 0:
        print(f"{epoch:6d} {cost.item():10f}")
print()

output = model(X_tensor)
cost = criterion(output, y_tensor)
print("mean squared error:", cost.item())

Answer 1

你能打印出你输入的形状吗？我会说先检查那些东西:

• 你的目标 y 的形状是 (-1, 1) 我不知道 pytorch 在这种情况下是否会抛出错误。你可以使用 y.reshape(-1, 1) 如果它不是 2 dim
• 你的学习率很高。通常在使用 Adam 时，默认值就足够了，或者只是尝试降低你的学习率。 0.1 是学习率的高值开始
• 将 optimizer.zero_grad 放在 for 循环内的第一行
• 规范化/标准化您的数据(这通常有利于神经网络)
• 删除数据中的异常值(我认为:我认为这不会对随机森林产生太大影响，但会对神经网络产生严重影响)
• 使用交叉验证(也许 skorch 可以在这里帮助你。它是 pytorch 的 scikit 学习包装器，如果你了解 keras 则易于使用)

请注意，随机森林回归器或任何其他回归器在某些情况下可以胜过神经网络。在某些领域，神经网络是英雄，例如图像分类或 NLP，但您需要注意，简单的回归算法可以胜过它们。通常当您的数据不够大时。