hive - hive insert 中途失败怎么办？-6ren

hive - hive insert 中途失败怎么办？

转载作者：行者123 更新时间：2023-12-05 03:50:46

30

4

假设一次插入预计会在 hive 中加载 100 条记录，并且已经插入了 40 条记录，但由于某种原因插入失败了。事务是否会完全回滚，撤消插入的 40 条记录？或者即使在插入查询失败后，我们是否会在配置单元表中看到 40 条记录？

最佳答案

该操作是原子的(即使对于非 ACID 表):如果您使用 HiveQL 插入或重写数据，它会将数据写入临时位置，并且仅当命令成功时，文件才会移动到表位置(旧文件在INSERT OVERWRITE 的情况)。如果 SQL 语句失败，数据将保持语句执行前的状态。

关于 S3 直接写入的注意事项:应禁用直接写入 S3 功能以允许 Hive 写入临时位置并仅在操作成功时重写目标文件夹:

-- Disable AWS S3 direct writes:
set hive.allow.move.on.s3=true;

另请阅读此文档以获取有关并发模式和限制中支持的 ACID 功能的更多详细信息:What is ACID and why should you use it?

Up until Hive 0.13, atomicity, consistency, and durability were provided at the partition level. Isolation could be provided by turning on one of the available locking mechanisms (ZooKeeper or in memory). With the addition of transactions in Hive 0.13 it is now possible to provide full ACID semantics at the row level, so that one application can add rows while another reads from the same partition without interfering with each other.

另请阅读有关 Hive locks with ACID enabled (transactional and non-transactional tables) 的内容

更新:Since DEC 2020 Amazon S3 is strongly consistent at no extra charge.因此，删除了有关 S3 最终一致性的部分。

关于hive - hive insert 中途失败怎么办？，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/63355982/

30

4

0

文章推荐： Java在扩展类中将非抽象方法重写为抽象

文章推荐： ruby-on-rails - 在 Stripe 结帐后设置电子邮件的语言

MySQL触发器: Before Insert or After Insert
我正在开发一些用于计费的数据库项目(PHP/MySQL)。每当创建新账单时，我想生成一个由年、周和增量编号组成的账单编号。我想用触发器来做到这一点。触发器将使用现有的账单编号来查找增量编号，或者从新
mysql - SQL insert using RAND() for inserting random value - INSERT into TINYINT?
我有一个 MySQL 插入，我正在使用 RAND 生成随机 INT 值问题是它不会插入到数据库中，因为该列接受 TINYINT ，如何将输出转换为 TINYINT。代码示例如下: INSERT INT
sql - INSERT 新记录并将生成的主键用于另一个 INSERT
如果我想从单个插入中保存主键 (mytable_id)，我已完成以下操作: CREATE OR REPLACE FUNCTION myfunct(ownerid text) RETURNS void
sql-server - Insert OUTPUT Insert.id to another table in multiple values insert
为了简单起见，假设我有两个表用户表(id，email) 用户日志表(id, date) 无论 id 被插入到 user 表中，相同的 id 也应该被插入到 user_log 表中，否则事务应该失败。
sql-server - Insert OUTPUT Insert.id to another table in multiple values insert
为了简单起见，假设我有两个表用户表(id，email) 用户日志表(id, date) 无论 id 被插入到 user 表中，相同的 id 也应该被插入到 user_log 表中，否则事务应该失败。
sql - INSERT 是否可以在触发器 "inserted"表中产生多行结果？
我知道在触发器中 - 至少对于 SQL Server - 人们永远不应该假设插入的表只有一行，这意味着触发器中这样的 SQL 通常是不好的: select @UserID = ID from inse
insert - BigQuery : insert rows, 但未写入
我正在使用 bigquery 对象中的方法 tabledata().insertAll 更新行列表。执行后，返回显示没有错误。但是，我的表仍然继续，没有写入任何数据。可能是权限问题。如果是这样，为什
insert - F# 树 : Node Insertion
这是一个扩展 F# Recursive Tree Validation 的问题，我昨天已经很好地回答了。这个问题涉及在现有树中插入一个 child 。这是我想使用的更新类型: type Name
java - 如何处理与主 INSERT 相关的辅助 INSERT
我有 2 个表:用户和照片(在 mysql 数据库中)。在这里你可以看到两个表之间的关系 User Photos -------------
MySQL - INSERT INTO SELECT ( INSERT INTO ...) - 嵌套插入
我试图同时在不同的表上插入两行。子查询INSERT INTO的AUTO_INCRMENT或id的值(如果已经存在)应该写入主查询中。目前我有这个(仅用 3 个值简化)，但它不起作用。我想知道是否有
php - INSERT IGNORE 或 INSERT WHERE NOT IN
我有一个 900 万行的表，由于其庞大的规模，我正在努力处理所有这些数据。我想做的是在不覆盖数据的情况下将 IMPORT 一个 CSV 添加到表中。在我做这样的事情之前； INSERT if no
PHP MySQL INSERT INTO : can't insert anymore
我正在写新闻并将其插入到我的数据库中，我在 3 年前构建了代码并且运行良好，但我不能再插入了，我不明白为什么: $insert=mysqli_query($co,"INSERT INTO articl
mysql - Insert statement not insert 好像找不到问题
我正在尝试编写一个简单的 INSERT 语句来将新用户添加到数据库中，但它不起作用，这意味着，我尝试插入到表中的数据都没有被插入。几个小时以来，我一直在尝试解决此问题，但没有成功。我尝试编写插入语句的
c# - INSERT，以及如何将 INSERT 插入到多个表中
所以我有这个表格: http://i.imgur.com/vZYssQy.png 现在 ID、First Name、Last Name、DOB、Address、Phone Number 和 Post
insert - 为 DataGrip 生成 sql insert into
在控制台中运行查询(SELECT 语句)时，从数据库检索到的数据以表格格式显示在数据库控制台工具窗口的结果 Pane 中。我已经搜索过 datagrip Help我只是想知道是否有任何方法可以用于为
SQL 服务器 : Insert row with trigger after Insert
每当使用触发器插入行时，我都试图将另一行插入表中，但收到以下错误消息: The target table 'EDDSDBO.Redaction' of the DML statement cannot
sql - SQL 中的 INSERT 与 INSERT INTO
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。这个问题似乎与 help center 中定义的范围内的编程无关。 . 关闭 6 年前。 Improve
php - INSERT 查询不插入数据，但是执行表明 INSERT 成功的回显
我有以下代码片段: $get_data = mysqli_query ($connect, "SELECT * FROM users WHERE username = '$username'");
python - 哪个更好-execute(INSERT) 或executemany(INSERT)
情况:需要向 SQLite 数据库中插入大量数据。问题:我们可以使用两个语句来插入数据 - data = [("111", "222", "333"), ("AAA", "BBB", "CCC"),
C# INSERT 与 INSTEAD OF INSERT TRIGGER
我的数据库中有一个表 Teacher: TABLE Teacher ( ID CHAR (7) NOT NULL , name

首页

博学

6Ren·AI

商城

hive - hive insert 中途失败怎么办？