gpt4 book ai didi

c++ - 使用两个不同 LMDB 的多标签

转载 作者:塔克拉玛干 更新时间:2023-11-03 00:43:12 26 4
gpt4 key购买 nike

我是caffe框架的新手,我想用caffe来实现多标签训练。我使用两个 LMDB 分别保存数据和标签。数据 LMDB 的维度为 Nx1xHxW,而标签 LMDB 的维度为 Nx1x1x3。标签是 float 数据。

文本文件如下:

5911 3
train/train_data/4224.bmp 13 0 12
train/train_data/3625.bmp 11 3 7
... ...

我使用 C++ 创建 LMDB。我的 main.cpp:

#include <algorithm>
#include <fstream> // NOLINT(readability/streams)
#include <string>
#include <utility>
#include <vector>
#include <QImage>

#include "boost/scoped_ptr.hpp"
#include "gflags/gflags.h"
#include "glog/logging.h"

#include "caffe/proto/caffe.pb.h"
#include "caffe/util/db.hpp"
#include "caffe/util/format.hpp"
#include "caffe/util/rng.hpp"

#include <boost/filesystem.hpp>
#include <iomanip>
#include <iostream> // NOLINT(readability/streams)
#include <string>

#include "google/protobuf/message.h"

#include "caffe/common.hpp"
#include "caffe/proto/caffe.pb.h"
#include "caffe/util/format.hpp"

#ifndef CAFFE_TMP_DIR_RETRIES
#define CAFFE_TMP_DIR_RETRIES 100
#endif

using namespace caffe; // NOLINT(build/namespaces)
using std::pair;
using boost::scoped_ptr;

const char *dat_lab="/home/mul/caffe-master/examples/2D_3D/new/info/train.data";
string data_db="/home/mul/caffe-master/examples/2D_3D/new/2D_3D_data_leveldb";
string label_db="/home/mul/caffe-master/examples/2D_3D/new/2D_3D_label_leveldb";
string root="/home/mul/caffe-master/examples/2D_3D/new/";
string path;

int main()
{

//Create data DB
scoped_ptr<db::DB> dat_db(db::GetDB("leveldb"));
dat_db->Open(data_db, db::NEW);
scoped_ptr<db::Transaction> dat_txn(dat_db->NewTransaction());

//Create label DB
scoped_ptr<db::DB> lab_db(db::GetDB("leveldb"));
lab_db->Open(label_db, db::NEW);
scoped_ptr<db::Transaction> lab_txn(lab_db->NewTransaction());

//Storing to db
Datum dat_datum,lab_datum;
int count=0;

std::ifstream infile(dat_lab);
std::string filename;
const char *dataname;
int dataNum;
int labelcount;
QImage img;
infile>>dataNum>>labelcount;
LOG(INFO) << "A total of " << dataNum<< " images.";

for (int line_id = 0; line_id < dataNum; ++line_id)
{
infile>>filename;
path=root+filename;
dataname=path.c_str();
img.load(dataname);

dat_datum.set_channels(1);
dat_datum.set_height(img.height());
dat_datum.set_width(img.width());
dat_datum.clear_data();
dat_datum.clear_float_data();

int datum_channels = dat_datum.channels();
int datum_height = dat_datum.height();
int datum_width = dat_datum.width();
int datum_size = datum_channels * datum_height * datum_width;
std::string buffer(datum_size, ' ');
const uchar* ptr = img.bits();
int img_index = 0;
for (int h = 0; h < datum_height; ++h)
{

for (int w = 0; w < datum_width; ++w)
{
for (int c = 0; c < datum_channels; ++c)
{
int datum_index = (c * datum_height + h) * datum_width + w;
buffer[datum_index] = static_cast<char>(ptr[img_index++]);
}
}
}
dat_datum.set_data(buffer);


lab_datum.set_channels(labelcount);
lab_datum.set_height(1);
lab_datum.set_width(1);
lab_datum.clear_data();
lab_datum.clear_float_data();
for(int i=0;i<labelcount;++i)
{
float mid;
infile>>mid;
lab_datum.add_float_data(mid);
}

// sequential
string key_str = caffe::format_int(line_id, 8);

// Put in db
string out;
CHECK(dat_datum.SerializeToString(&out));
dat_txn->Put(key_str, out);
CHECK(lab_datum.SerializeToString(&out));
lab_txn->Put(key_str, out);

if (++count % 1000 == 0)
{
// Commit db
dat_txn->Commit();
dat_txn.reset(dat_db->NewTransaction());
lab_txn->Commit();
lab_txn.reset(lab_db->NewTransaction());
LOG(INFO) << "Processed " << count << " files.";
}
}
// write the last batch
if (count % 1000 != 0)
{
dat_txn->Commit();
lab_txn->Commit();
LOG(INFO) << "Processed " << count << " files.";
}
return 0;
}

可以成功创建两个LMDB。但是当我用caffe实现两个LMDB的训练时,结果总是错误的。损失层为EUCLIDEAN_LOSS,损失不能下降。我不知道可以创建两个LMDB的代码是否有误。谁能帮我 ?无论如何谢谢。

最佳答案

总的来说,你上面的代码是好的,但你应该注意到:

  1. 你的.cpp是创建LEVELDB而不是LMDB,当然这不是导致你问题的原因,任何一种都可以。
  2. 您的代码生成的“标签 LMDB”维度 Nx3x1x1 而不是 Nx1x1x3(NumberxChannelxWidthxHeight)。
  3. 在使用小批量 SGD 的学习任务中,据我所知,打乱数据以进行训练以获得更优化的模型非常有用。我不确定你是否注意到了这一点。但至少你的 cpp 没有洗牌你的“train.data”。
  4. 最重要的是,导致您的问题的原因很可能在于您网络中的数据层读取您的数据并标记 lmdb/leveldb 文件,因为您将标签分配给datum的float数据,caffe中的DataLayer其实是不读取float数据的(前提是你使用了自己定义的data layer)。因此,请同时上传定义您的网络的 prototxt 文件。这样我们就可以找出真正的问题所在。

最后,我添加了一个“MultiTaskData”层MultiTaskDataLayer从数据中读取多标签以进行多任务训练,您可以进行简单的修改以将其添加到您的 caffe 中并像这样使用:

    name: "AgeNet"
layer {
name: "Age"
type: "MultiTaskData"
top: "data"
top: "age_label"
top: "gender_label"
data_param {
source: "age_gender_classification_0_60p_train_leveldb"
batch_size: 60
task_num: 2
label_dimension: 1
label_dimension: 1
}
transform_param {
scale: 0.00390625
crop_size: 60
mirror: true
}
include:{ phase: TRAIN }
}
layer {
name: "cls_age"
type: "InnerProduct"
bottom: "data"
top: "cls_age"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
inner_product_param {
num_output: 7
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
}
layer {
name: "age_loss"
type: "SoftmaxWithLoss"
bottom: "cls_age"
bottom: "age_label"
top: "age_loss"
include:{ phase: TRAIN }
}
layer {
name: "cls_gender"
type: "InnerProduct"
bottom: "data"
top: "cls_gender"
param {
lr_mult: 1
decay_mult: 1
}
param {
lr_mult: 2
decay_mult: 0
}
inner_product_param {
num_output: 2
weight_filler {
type: "xavier"
}
bias_filler {
type: "constant"
}
}
}
layer {
name: "gender_loss"
type: "SoftmaxWithLoss"
bottom: "cls_gender"
bottom: "gender_label"
top: "gender_loss"
include:{ phase: TRAIN }
}

关于c++ - 使用两个不同 LMDB 的多标签,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37265977/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com