gpt4 book ai didi

python - PyTorch 模型未进行训练

转载 作者:行者123 更新时间:2023-11-30 09:19:27 25 4
gpt4 key购买 nike

我有一个问题,一周内都无法解决。我正在尝试构建 CIFAR-10 分类器,但是每批之后的损失值都是随机跳跃的,即使在同一批处理上,准确性也没有提高(我什至不能用一批来过度拟合模型),所以我猜唯一可能的原因is - 权重没有更新。

我的模块类

class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.conv_pool = nn.Sequential(
nn.Conv2d(3, 64, 3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2, 2),
nn.Conv2d(64, 128, 3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2, 2),
nn.Conv2d(128, 256, 3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2, 2),
nn.Conv2d(256, 512, 3, padding=1),
nn.ReLU(),
nn.MaxPool2d(2, 2),
nn.Conv2d(512, 512, 1),
nn.ReLU(),
nn.MaxPool2d(2, 2))

self.fcnn = nn.Sequential(
nn.Linear(512, 2048),
nn.ReLU(),
nn.Linear(2048, 2048),
nn.ReLU(),
nn.Linear(2048, 10)
)

def forward(self, x):
x = self.conv_pool(x)
x = x.view(-1, 512)
x = self.fcnn(x)
return x

我正在使用的优化器:

net = Net()
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9)

我的火车功能:

def train():
for epoch in range(5): # loop over the dataset multiple times
for i in range(0, df_size):
# get the data

try:
images, labels = loadBatch(ds, i)
except BaseException:
continue

# wrap
inputs = Variable(images)

optimizer.zero_grad()

outputs = net(inputs)

loss = criterion(outputs, Variable(labels))

loss.backward()
optimizer.step()
acc = test(images,labels)
print("Loss: " + str(loss.data[0]) + " Accuracy %: " + str(acc) + " Iteration: " + str(i))

if i % 40 == 39:
torch.save(net.state_dict(), "model_save_cifar")

print("Finished epoch " + str(epoch))

我使用batch_size = 20,image_size = 32 (CIFAR-10)

loadBatch 函数返回图像的 LongTensor 20x3x32x32 和标签的 LongTensor 20x1 的元组

如果您能帮助我,或者提出可能的解决方案,我会非常高兴(我猜测这是因为 NN 中的顺序模块,但我传递给优化器的参数似乎是正确的)

最佳答案

好的,伙计们,我知道问题出在哪里了。我试图自己将图像转换为张量,似乎我弄乱了图像的尺寸+我正在顺序观看 SGD 步骤,而不是批量观看。现在我每 25 个批处理检查一次,大部分时间都可以,取决于神经网络和数据。这是我加载数据的代码,希望有人会发现它有帮助

Goods 数据集 是用于从文件夹加载图像的数据集,以及包含 category 列作为标签和 id 作为图像文件 ID 的 csv 文件

我建议使用pytorch图像处理函数和Pillow Image.Open

batch_size = 8
img_size = 224

transformer = transforms.Compose(
[transforms.ToTensor(),
transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])



class GoodsDataset(Dataset):
def __init__(self, csv_file, root_dir):
"""
Args:
csv_file (string): Path to the csv file with annotations.
root_dir (string): Directory with all the images.
transform (callable, optional): Optional transform to be applied
on a sample.
"""
self.data = pd.read_csv(csv_file)
self.root_dir = root_dir
self.le = preprocessing.LabelEncoder()
self.le.fit(self.data.loc[:, 'category'])

def __len__(self):
return len(self.data)

def __getitem__(self, idx):
img_name = os.path.join(self.root_dir, str(self.data.loc[idx, 'id']) + '.jpg')
image = (Image.open(img_name))
good = self.data.iloc[idx, :].as_matrix()
label = self.le.transform([good[2]])
return [transformer(image), label]

然后你可以使用:

train_ds = GoodsDataset("topthree.csv", "resized")
train_set = dataloader = torch.utils.data.DataLoader(train_ds, batch_size = batch_size, shuffle = True)

在你的训练函数中使用枚举迭代train_set,这将为你提供索引i以及图像和标签的元组,并使用标签编码器进行编码位于数据集中的strong>。

祝你好运!

关于python - PyTorch 模型未进行训练,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45359111/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com