gpt4 book ai didi

python-3.x - 如何将基于自定义图像的数据集加载到 Pytorch 中以与 CNN 一起使用?

转载 作者:行者123 更新时间:2023-11-30 08:30:16 24 4
gpt4 key购买 nike

我在互联网上搜索了几个小时,才找到解决我的问题的好方法。以下是一些相关背景信息,可以帮助您回答我的问题。

这是我的第一个深度学习项目,我不知道自己在做什么。我知道理论,但不知道实践要素。

我正在使用的数据可以在 kaggle 上通过以下链接找到:(https://www.kaggle.com/alxmamaev/flowers-recognition)

我的目标是使用 CNN 根据数据集中提供的图像对花朵进行分类。

这是迄今为止我尝试用来加载数据的一些示例代码,这是我最好的尝试,但正如我提到的,我一无所知,Pytorch 文档没有提供太多我可以理解的帮助。(https://pastebin.com/fNLVW1UW)

    # Loads the images for use with the CNN.
def load_images(image_size=32, batch_size=64, root="../images"):
transform = transforms.Compose([
transforms.Resize(32),
transforms.ToTensor(),
transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))])

train_set = datasets.ImageFolder(root=root, train=True, transform=transform)
train_loader = torch.utils.data.DataLoader(train_set, batch_size=batch_size, shuffle=True, num_workers=2)

return train_loader


# Defining variables for use with the CNN.
classes = ('daisy', 'dandelion', 'rose', 'sunflower', 'tulip')
train_loader_data = load_images()

# Training samples.
n_training_samples = 3394
train_sampler = SubsetRandomSampler(np.arange(n_training_samples, dtype=np.int64))

# Validation samples.
n_val_samples = 424
val_sampler = SubsetRandomSampler(np.arange(n_training_samples, n_training_samples + n_val_samples, dtype=np.int64))

# Test samples.
n_test_samples = 424
test_sampler = SubsetRandomSampler(np.arange(n_test_samples, dtype=np.int64))

以下是我也需要答案的直接问题:

  • 如何修复代码以按 80/10/10 分割加载到数据集中进行训练/测试/验证?

  • 如何为这些已按/images 中的文件夹划分的图像创建所需的标签/类?

最佳答案

查看来自Kaggle的数据和您的代码,您的数据加载存在问题。

数据应位于每个类标签的不同文件夹中,以便 PyTorch ImageFolder 正确加载。在您的情况下,由于所有训练数据都位于同一文件夹中,PyTorch 会将其作为一组训练集加载。您可以使用文件夹结构来纠正此问题,例如 - train/daisytrain/dandeliontest/daisytest/dandelion 然后将训练和测试文件夹分别传递给训练和测试ImageFolder。只需更改文件夹结构即可。看一下torchvision.datasets.Imagefolder的官方文档,里面有类似的例子。

<小时/>

正如您所说,这些图像已按 /images 中的文件夹划分。 PyTorch ImageFolder 假设图像按以下方式组织。但只有当您使用训练集的所有图像时,此文件夹结构才是正确的:

```
/images/daisy/100080576_f52e8ee070_n.jpg
/images/daisy/10140303196_b88d3d6cec.jpg
.
.
.
/images/dandelion/10043234166_e6dd915111_n.jpg
/images/dandelion/10200780773_c6051a7d71_n.jpg
```

其中“daisy”、“dandelion”等是类标签。

如果您想在您的情况下将数据集拆分为训练集和测试集,则正确的文件夹结构(请注意,我知道您想将数据集拆分为训练集、验证集和测试集,但这并不重要,因为这只是一个表达想法的例子):

```
/images/train/daisy/100080576_f52e8ee070_n.jpg
/images/train/daisy/10140303196_b88d3d6cec.jpg
.
.
/images/train/dandelion/10043234166_e6dd915111_n.jpg
/images/train/dandelion/10200780773_c6051a7d71_n.jpg
.
.
/images/test/daisy/300080576_f52e8ee070_n.jpg
/images/test/daisy/95140303196_b88d3d6cec.jpg
.
.
/images/test/dandelion/32143234166_e6dd915111_n.jpg
/images/test/dandelion/65200780773_c6051a7d71_n.jpg
```

然后,您可以引用以下完整代码示例来了解如何编写数据加载器:

import os
import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.autograd import Variable
import torch.utils.data as data
import torchvision
from torchvision import transforms

EPOCHS = 2
BATCH_SIZE = 10
LEARNING_RATE = 0.003
TRAIN_DATA_PATH = "./images/train/"
TEST_DATA_PATH = "./images/test/"
TRANSFORM_IMG = transforms.Compose([
transforms.Resize(256),
transforms.CenterCrop(256),
transforms.ToTensor(),
transforms.Normalize(mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225] )
])

train_data = torchvision.datasets.ImageFolder(root=TRAIN_DATA_PATH, transform=TRANSFORM_IMG)
train_data_loader = data.DataLoader(train_data, batch_size=BATCH_SIZE, shuffle=True, num_workers=4)
test_data = torchvision.datasets.ImageFolder(root=TEST_DATA_PATH, transform=TRANSFORM_IMG)
test_data_loader = data.DataLoader(test_data, batch_size=BATCH_SIZE, shuffle=True, num_workers=4)

class CNN(nn.Module):
# omitted...

if __name__ == '__main__':

print("Number of train samples: ", len(train_data))
print("Number of test samples: ", len(test_data))
print("Detected Classes are: ", train_data.class_to_idx) # classes are detected by folder structure

model = CNN()
optimizer = torch.optim.Adam(model.parameters(), lr=LEARNING_RATE)
loss_func = nn.CrossEntropyLoss()

# Training and Testing
for epoch in range(EPOCHS):
for step, (x, y) in enumerate(train_data_loader):
b_x = Variable(x) # batch x (image)
b_y = Variable(y) # batch y (target)
output = model(b_x)[0]
loss = loss_func(output, b_y)
optimizer.zero_grad()
loss.backward()
optimizer.step()

if step % 50 == 0:
test_x = Variable(test_data_loader)
test_output, last_layer = model(test_x)
pred_y = torch.max(test_output, 1)[1].data.squeeze()
accuracy = sum(pred_y == test_y) / float(test_y.size(0))
print('Epoch: ', epoch, '| train loss: %.4f' % loss.data[0], '| test accuracy: %.2f' % accuracy)

关于python-3.x - 如何将基于自定义图像的数据集加载到 Pytorch 中以与 CNN 一起使用?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51577282/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com