mysql - Perl 导入大.csv 到 MySQL，不要重复数据

Question

我正在尝试将几个 .csv 文件导入到 mysql 数据库中，下面的脚本可以正常工作，只是它只将我的 csv 数据的第一行导入到数据库中。我的两个表都填充了一个数据条目。

如有任何帮助，我们将不胜感激。

谢谢

#!/usr/bin/perl

use DBI;
use DBD::mysql;
use strict;
use warnings;

# MySQL CONFIG VARIABLES
my $host = "localhost";
my $user = "someuser";
my $pw = "somepassword";

my $database = "test";
my $dsn = "DBI:mysql:database=" . $database . ";host=" . $host;

 my $dbh = DBI->connect($dsn, $user, $pw)
   or die "Can't connect to the DB: $DBI::errstr\n";

 print "Connected to DB!\n";


# enter the file name that you want import

my $filename = "/home/jonathan/dep/csv/linux_datetime_test_4.26.13_.csv";

open FILE, "<", $filename or die $!;

$_ = <FILE>;
$_ = <FILE>;

while (<FILE>) {
   my @f = split(/,/,$_);

if (length($f[4]) < 10) {
            print "No Weight\n"; 
    }
    else {
           #insert the data into the db
           print "insert into datetime_stamp\n"; 
}
        my $sql = "INSERT INTO datetime_stamp (subject, date, time, weight)                       
VALUES('$f[1]', '$f[2]', '$f[3]', '$f[4]')";
    print "$sql\n";
        my $query = $dbh->do($sql);

        my $sql = "INSERT INTO subj_weight (subject, weight) VALUES('$f[1]', '$f[2]')";
        my $query = $dbh->do($sql);

close(FILE);
}

Answer 1

如前所述，您在读取第一个数据条目后关闭输入文件，因此仅使用一条记录填充您的数据库。

但是您可能需要考虑您的代码存在的一些问题:

• 如果您在程序运行时打印诊断信息，您应该在 STDOUT 文件句柄上设置 autoflush。否则 perl 将不会打印输出，直到它有一个充满要打印的文本的缓冲区或程序退出时文件句柄关闭。这意味着您可能要等到事件发生很久之后才能看到自己编码的消息

• 你应该使用 Text::CSV解析 CSV 数据而不是依赖于 split

• 您可以将 变量插入双引号字符串中。这避免了使用多个连接运算符并使意图更清晰

• 您的 open 近乎完美 - 一件不寻常的事情 - 因为您正确使用了 open 的三参数形式以及测试它是否成功并且将 $! 放入 die 字符串中。但是，您也应该始终使用词法文件句柄，而不是老式的全局句柄

• 您不会chomp 从输入中读取的行，因此最后一个字段将有一个尾随换行符。使用 Text::CSV 可以避免这种情况

• 您使用从输入记录拆分的数据的索引 1 到 4。 Perl 索引从零开始，这意味着您要删除第一个字段。对吗？

• 同样，您将字段 1 和 2(看起来是 subject 和 date)插入名为 subject 和 重量。这似乎不太可能是对的

• 您应该准备您的 SQL 语句、使用占位符并在执行调用中提供实际数据

• 您似乎诊断了从文件中读取的数据(“No Weight”)，但无论如何都将数据插入到数据库中。这可能是正确的，但似乎不太可能

这是包含这些修改的程序版本。希望对你有用。

#!/usr/bin/perl

use strict;
use warnings;

use DBI;
use Text::CSV;
use IO::Handle;

STDOUT->autoflush;

# MySQL config variables
my $host = "localhost";
my $user = "someuser";
my $pw   = "somepassword";

my $database = "test";
my $dsn      = "DBI:mysql:database=$database;host=$host";

my $dbh = DBI->connect($dsn, $user, $pw)
    or die "Can't connect to the DB: $DBI::errstr\n";

print "Connected to DB!\n";

my $filename = "/home/jonathan/dep/csv/linux_datetime_test_4.26.13_.csv";

open my $fh, '<', $filename
    or die qq{Unable to open "$filename" for input: $!};

my $csv = Text::CSV->new;

$csv->getline($fh) for 1, 2;  # Drop header lines

my $insert_datetime_stamp = $dbh->prepare( 'INSERT INTO datetime_stamp (subject, date, time, weight) VALUES(?, ?, ?, ?)' );
my $insert_subj_weight = $dbh->prepare( 'INSERT INTO subj_weight (subject, weight) VALUES(?, ?)' );

while (my $row = $csv->getline($fh)) {

    if (length($row->[4]) < 10) {
        print qq{Invalid weight: "$row->[4]"\n};
    }
    else {
        #insert the data into the db
        print "insert into datetime_stamp\n";
        $insert_datetime_stamp->execute(@$row[1..4]);
        $insert_subj_weight->execute(@$row[1,4]);
    }
}