gpt4 book ai didi

hadoop - Hive 中的 Unicode 数据支持

转载 作者:可可西里 更新时间:2023-11-01 16:11:19 26 4
gpt4 key购买 nike

根据 Hive 文档,Hive 支持表中的 unicode 数据。

我创建了一个数据类型为“string”的表,并将 unicode 数据加载到其中,但是当我说 select * from <tablename> 时我得到垃圾值

create table unicode (data string);
load data local inpath 'unicode.txt' into table unicode;

下面是选择的输出

Les caract�res accentu�s (Fran�ais)

En donn�es nous avons confiance

Donn�es, donn�es, partout
et tous les noeuds �taient d�connect�

Donn�es, donn�es, partout
ni aucun bit � traiter

原创内容 Les caractères accentués(法语)

En données nous avons confiance

Données, données, partout
et tous les noeuds étaient déconnecté

Données, données, partout
ni aucun bit à traiter

有人可以建议可能是什么问题吗?

最佳答案

在您的案例中,创建表查询使用默认的配置单元 serde 创建了一个表,即简单的惰性 serde,这个 serde 不处理 unicode。

为了处理 unicode,您需要使用其他 serdes(例如 textinput 或 rcserde)来定义表。

关于hadoop - Hive 中的 Unicode 数据支持,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30192071/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com