php - LOAD DATA INFILE 命令的格式化文本文件

Question

我在一家公司工作，我有一个项目是根据我公司生产的产品创建一个网络应用程序。

有一个内部服务器，其中包含我公司的所有数据。我要做的是解析 oracle 服务器正在检索的数据。它正在检索 .lst 文件，这些文件可以使用 Excel 或某些 php 包轻松转换为 .csv。

我使用 LOAD DATA INFILE 命令成功地将 Clients 表导入到我的 MySQL 数据库中。但是当我想解析 Articles 表时遇到了一些问题。

列/值不一定用分号分隔。要解析数据，我必须举例说明:

• 前6位为文章ID
• 接下来的35个字符是文章的描述

等等……

有没有一种方法可以在使用 LOAD DATA INFILE 命令时实现此目的，或者我应该使用 PHP 正确格式化文件然后使用此命令，如果可以，最好的方法是什么？

谢谢大家，我希望我说清楚了，因为英语不是我的主要语言。 :P

编辑:那些是行。

51016 51016 BOITE ORANGINA 33cls CASHS   "24"                               040430024000330  0000000000            1       01000000550009000                   000000NNNNNN caisse         0000003750000000000001230      
51019 51019 BOITE OASIS ORANGE CASHS  "24" 33cl                             040430024000330  0000000000            1       01000000550009000                   000000NNNNNN caisse         0000003670000000000001230

第一行解析正确，而第二行解析错误。24 之后的双引号被放入下一列。我只是想知道是否可以对此做些什么，比如删除双引号。

以前的开发人员创建了一个应用程序来管理公司的文章和客户。不幸的是，他不能再帮助我了，但这里有一条描述争吵的线索。

import_a;Code_article;6;designation;35;designation2;35;Code_famille;2;Code_sousfamille;4;unite_condition;3;contenance;6/1000;Champ_vide;2;degre;4/10;champ_vide_6;6;Code_emballage;4;Champ_vide2;8;validite;1;Champ_vide3;7;code_tva;2;taux_tva;9/100;poids;6/1000;champ_vide4;19;montant_droits;6/1000;valide;1;rupture;1;edit_tarif;1;pre_commande;1;gratuit_autorise;1;trans_port;1;Champ_libre;1;caisse;15;prix_revient;9/100;stock;6/1;Champ_vide5;5;code_fournisseur;11/1

import_a => 这是你可以忽略的文件名。

然后您得到列的名称，后跟字符数。例如Code_articles由6个字符组成等等。

您也可以忽略开头重复的 ID Key。 但总共应该有 31 列。

Answer 1

您可以使用此 perl 脚本开始测试。最重要的是根据你的真实数据调整 $def 行，直到你得到正确的结果。

#!/usr/bin/perl

$input_file = "/tmp/a.lst";
$output_file = "/tmp/a.csv";
$testing = 1;  #testing, print out directly first 100 lines

# we are using tab (#9) for the output csv file
$delim   ="\t";

# output column header 
$output_header = 1;

$defs= "import_a;Code_article;6;Code_article2;6;designation;29;designation2;35;Code_famille;2;Code_sousfamille;4;unite_condition;3;contenance;6/1000;Champ_vide;2;degre;4/10;champ_vide_6;6;Code_emballage;4;Champ_vide2;8;validite;1;Champ_vide3;7;code_tva;2;taux_tva;9/100;poids;6/1000;champ_vide4;19;montant_droits;6/1000;valide;1;rupture;1;edit_tarif;1;pre_commande;1;gratuit_autorise;1;trans_port;1;Champ_libre;1;caisse;15;prix_revient;9/100;stock;6/1;Champ_vide5;5;code_fournisseur;11/1";

my @input_fields, @input_fieldwidths, @input_fieldwidth_max, $input_field_no =0;
@defs= split(";",$defs);
$total_defs=$#defs;
$total_cols = 0;
$total_width = 0;

for($x=0; $x<$total_defs /2; $x++)
{
  push(@input_fields, $defs[$x*2+1]);
  $width = $defs[$x*2+2];
  if($width=~/(.*)\/(.*)/){
    $mw= $1;
    $xw= $2;
  }
  else{
    $mw = $width;
    $xw= 0;
  }
  $total_width += $mw;
  push(@input_field_widths,$mw);
  push(@input_field_widths_max, $xw);
  $total_cols ++;
}

if($testing){
  for($x=1; $x<$total_cols; $x++)
  {
    print "$input_fields[$x]: $input_field_widths[$x]\n";
  }
}

open(INPUT, $input_file) || die "Can not open input file";
open(OUTPUT, ">$output_file" ) || die "Can not open output file";

# this is the csv head
if($output_header){ 
  print OUTPUT "$input_fields[0]";
  for($x=1; $x<$total_cols; $x++)
  {
    print OUTPUT "\t$input_fields[$x]";
  }
  print OUTPUT "\n";
}

$lines=0;

foreach $l (<INPUT>)
{
  chop($l);
  $pos =0;
  for($f=0; $f < $total_cols; $f++)
  {
    $val = substr($l, $pos, $input_field_widths[$f]);
    print OUTPUT $delim if($pos);
    print $delim if($pos && $testing);
    print OUTPUT $val;
    print $val if($testing);
    $pos +=  $input_field_widths[$f];
  }
  print OUTPUT "\n";
  print "\n" if($testing);
  $lines++;
  if($testing && $lines>100) { last;};
}

print $lines , " lines transformed\n";

close(INPUT);
close(OUTPUT);

编辑:对于逗号分隔的引用 csv 格式:

#!/usr/bin/perl


$input_file = "/tmp/a.lst";
$output_file = "/tmp/a.csv";

# we are using tab (#9) for the output csv file
$delim   =";";
$testing = 1;  #testing, print out directly first 10 lines
$quote   ="'";

# output column header 
$output_header = 1;

$defs= "import_a;Code_article;6;Code_article2;6;designation;29;designation2;35;Code_famille;2;Code_sousfamille;4;unite_condition;3;contenance;6/1000;Champ_vide;2;degre;4/10;champ_vide_6;6;Code_emballage;4;Champ_vide2;8;validite;1;Champ_vide3;7;code_tva;2;taux_tva;9/100;poids;6/1000;champ_vide4;19;montant_droits;6/1000;valide;1;rupture;1;edit_tarif;1;pre_commande;1;gratuit_autorise;1;trans_port;1;Champ_libre;1;caisse;15;prix_revient;9/100;stock;6/1;Champ_vide5;5;code_fournisseur;11/1";

my @input_fields, @input_fieldwidths, @input_fieldwidth_max, $input_field_no =0;
@defs= split(";",$defs);
$total_defs=$#defs;
$total_cols = 0;
$total_width = 0;

for($x=0; $x<$total_defs /2; $x++)
{
  push(@input_fields, $defs[$x*2+1]);
  $width = $defs[$x*2+2];
  if($width=~/(.*)\/(.*)/){
    $mw= $1;
    $xw= $2;
  }
  else{
    $mw = $width;
    $xw= 0;
  }
  $total_width += $mw;
  push(@input_field_widths,$mw);
  push(@input_field_widths_max, $xw);
  $total_cols ++;
}

if($testing){
  for($x=0; $x<$total_cols; $x++)
  {
    print "$input_fields[$x]: $input_field_widths[$x]\n";
  }
}

open(INPUT, $input_file) || die "Can not open input file";
open(OUTPUT, ">$output_file" ) || die "Can not open output file";

# this is the csv head
if($output_header){ 
  print OUTPUT "$input_fields[0]";
  for($x=1; $x<$total_cols; $x++)
  {
    print OUTPUT "\t$input_fields[$x]";
  }
  print OUTPUT "\n";
}

$lines=0;

foreach $l (<INPUT>)
{
  chop($l);
  $pos =0;
  for($f=0; $f < $total_cols; $f++)
  {
    $val = substr($l, $pos, $input_field_widths[$f]);
    print OUTPUT $delim if($pos);
    #print $delim if($pos && $testing);
    print OUTPUT $quote, $val, $quote;
    if($testing){
      print $input_fields[$f] , "=", $val, "\n";
    }
    $pos +=  $input_field_widths[$f];
  }
  print OUTPUT "\n";
  print "\n" if($testing);
  $lines++;
  if($testing && $lines>0) { last;};
}

print $lines , " lines transformed\n";

close(INPUT);
close(OUTPUT);