gpt4 book ai didi

perl - 为什么我的 Perl 程序使用 Tie::File 和 Unicode/UTF-8 编码失败?

转载 作者:行者123 更新时间:2023-12-04 12:42:07 25 4
gpt4 key购买 nike

我正在从事一个处理外语数据的项目。我的 Perl 脚本运行良好。

然后我想使用 Tie::File,因为这是一个简洁的概念(并且可以节省时间和编码)。

似乎 Tie:File 在 Unicode/UTF-8 下失败(除非我遗漏了什么)。

这是一个描述问题的程序:(数据是英语、希腊语和希伯来语的混合体):

use strict;
use warnings;
use 5.014;
use Win32::Console;
use autodie;
use warnings qw< FATAL utf8 >;
use Carp;
use Carp::Always;
use utf8;
use feature qw< unicode_strings>;
use charnames qw< :full>;
use Tie::File;

my ($i);
my ( $FileName);
my (@Tied);
binmode STDOUT, ':unix:utf8';
binmode STDERR, ':unix:utf8';
binmode $DB::OUT, ':unix:utf8' if $DB::OUT; # for the debugger
Win32::Console::OutputCP(65001); # Set the console code page to UTF8

$FileName = 'E:\\My Documents\\Technical\\Perl\\Eclipse workspace\\Work\\'.
'Tie File test res.txt';
tie @Tied, 'Tie::File', $FileName, recsep => "\x0D\x0A", discipline => ':encoding(utf8)'
or confess 'tie @Tied failed';
$i =0;
while (<DATA>) {
chomp;
$Tied[$i] = $_;
++$i;
} # end while (<DATA>)
$i =0;
foreach (@Tied) {
say "$i $Tied[$i]";
++$i;
} # end foreach (@Tied)
untie $FileName;
__DATA__
τι κάνετε;
πάρτε το ή αφήστε το
שלום חברים
abc לא כןכן efg
מתי ולאן This is it
מעכשיו לעכשיו
Σήμερα είναι Τρίτη
Θέλω να φάω
τι κάνετε;
שורה מס' 5

这会产生大量的警告:这里有一些:
utf8 "\xCE" does not map to Unicode at F:/Win7programs/Dwimperl/perl/lib/Tie/File.pm line 917
Tie::File::_read_record('Tie::File=HASH(0x24cb72c)') called at F:/Win7programs/Dwimper
l/perl/lib/Tie/File.pm line 175
Tie::File::_fetch('Tie::File=HASH(0x24cb72c)', 0) called at F:/Win7programs/Dwimperl/p
erl/lib/Tie/File.pm line 210
Tie::File::STORE('Tie::File=HASH(0x24cb72c)', 0, 'τι κάνετε;') called at tie file test
.pl line 31
utf8 "\xCF" does not map to Unicode at F:/Win7programs/Dwimperl/perl/lib/Tie/File.pm line 917
Tie::File::_read_record('Tie::File=HASH(0x24cb72c)') called at F:/Win7programs/Dwimper
l/perl/lib/Tie/File.pm line 175
Tie::File::_fetch('Tie::File=HASH(0x24cb72c)', 0) called at F:/Win7programs/Dwimperl/p
erl/lib/Tie/File.pm line 210
Tie::File::STORE('Tie::File=HASH(0x24cb72c)', 0, 'τι κάνετε;') called at tie file test
.pl line 31
utf8 "\xD7" does not map to Unicode at F:/Win7programs/Dwimperl/perl/lib/Tie/File.pm line 917
Tie::File::_read_record('Tie::File=HASH(0x24cb72c)') called at F:/Win7programs/Dwimper
l/perl/lib/Tie/File.pm line 175
Tie::File::_fetch('Tie::File=HASH(0x24cb72c)', 0) called at F:/Win7programs/Dwimperl/p
erl/lib/Tie/File.pm line 210
Tie::File::STORE('Tie::File=HASH(0x24cb72c)', 0, 'τι κάνετε;') called at tie file test
.pl line 31
utf8 "\xD7" does not map to Unicode at F:/Win7programs/Dwimperl/perl/lib/Tie/File.pm line 917
Tie::File::_read_record('Tie::File=HASH(0x24cb72c)') called at F:/Win7programs/Dwimper
l/perl/lib/Tie/File.pm line 175
Tie::File::_fetch('Tie::File=HASH(0x24cb72c)', 0) called at F:/Win7programs/Dwimperl/p
erl/lib/Tie/File.pm line 210
Tie::File::STORE('Tie::File=HASH(0x24cb72c)', 0, 'τι κάνετε;') called at tie file test
.pl line 31

然后它在 STDOUT 上打印:
0 τι κάνετε;
1 πάρτε το ή αφήστε το
2 שלום חברים
3 abc לא כןכן efg
4 מתי ולאן This is it
5 מעכשיו לעכשיו
6 Σήμερα είναι Τρίτη
7 Θέλω να φάω
8 τι κάνετε;
9 שורה מס' 5
10
11
12
13
14 \xA4\xΘέλω\xA8\x

15
16
17
18

19

请注意,前 10 行没问题,但第 10 到 19 行不知从何而来!?
此外,捆绑文件的输出包含损坏的数据:
 τι κάνϏN͏Ŏՠτήστε של חברءbc לؗܗࠗܗߠeמתולאן This is מעיו לעכ؎Ďώݎ֏ναι ΤρΘέώގѠφϏŎ٠κτε;שרה מס'



\xA4\xΘέλω\xA8\x

这里有些不对劲。要么我遗漏了什么,要么 Tie:File 无法处理 Unicode/UTF-8?
我在 Windows 7 系统上运行 Strawberry Perl 5.14。

许多 TIA - 海伦

注:发布于 http://perlmonks.org/?node_id=1002104 , 也

最佳答案

我提出的建议很大程度上取决于您要解决的实际问题。孤立地看这个问题,我不会有那么多的编码/解码“魔法”,而只会使用原始字节(因为脚本不需要知道任何关于这个任务的字符本身)。给定您描述的输入和输出,下面会产生预期的结果。

use v5.014;
use warnings;
use autodie;

use Carp::Always;
use Tie::File;

my $file_in = 'test_in.txt';
my $file_out = 'test_tie.txt';

unlink $file_out;

tie my @tied, 'Tie::File', $file_out, recsep => "\x0D\x0A" or die 'tie failed';

open my $fh, '<', $file_in;
while (my $line = <$fh>) {
chomp $line;
push @tied, $line;
}
close $fh;

my $i = 0;
say $i++ . ' ' . $_ foreach @tied;

untie @tied;

然而 ,您可能确实想对中间的文本进行一些处理。在这种情况下,您需要解码字符。在我看来,有两种选择:
  • 在移交给绑定(bind)数组之前手动编码
  • 找出 Tie::File
  • 的问题所在

    数字 2 可能很重要 - 快速扫描 Tie::File 源,看起来它假设它总是被赋予字节。您似乎可以影响的唯一部分是位于 https://metacpan.org/source/TODDR/Tie-File-0.98/lib/Tie/File.pm#L111 的 binmode。 - 你在做什么。

    Tie::File 做了很多 seek调用时,perldoc 在 seek ( http://perldoc.perl.org/functions/seek.html) 上有这样的说法:

    Note the in bytes: even if the filehandle has been set to operate on characters (for example by using the :encoding(utf8) open layer), tell() will return byte offsets, not character offsets (because implementing that would render seek() and tell() rather slow).



    因此,似乎 Tie::File 正在使用字符长度来确定其记录的字节偏移量。因此,它可能会出现在 UTF-8 字符序列的中间。这似乎是您的错误的可能原因。

    一般来说,我远离 binmode当依赖外部模块读取/写入文件句柄时 - 在这种情况下,我将有一个简单的子调用 Encode::encode('UTF-8', ...)在推送到@tied 之前先查看数据。

    异常(exception)情况是模块的文档清楚地说明了解码数据的行为,或者源是否足够简单,我可以验证该行为。

    关于perl - 为什么我的 Perl 程序使用 Tie::File 和 Unicode/UTF-8 编码失败?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13209474/

    25 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com