gpt4 book ai didi

pyspark - 从数据 block DBFS 中删除记录

转载 作者:行者123 更新时间:2023-12-04 14:54:43 33 4
gpt4 key购买 nike

我正在尝试删除位于 DBFS 中的 Databricks Delta Lake 中的一些记录。我只有路径。没有保存为表格,有没有办法从增量文件中删除记录?
谢谢

最佳答案

更新的答案:
Delta Lake 能够使用 DELETE FROM 执行删除操作命令,所以你只需要提供正确的 WHERE条件匹配您要删除的记录(放置真实路径而不是 <path-to-delta-table> ):

DELETE FROM delta.`<path-to-delta-table>` WHERE your_condition
第一版答案,更新前:
DBFS is the file system , 上面的项目是文件和目录。您可以使用 %fs rm file_name 删除文件和目录( docs ),或对应的 dbutils.fs.rm("file_name") Python 或 Scala 中的命令(参见 docs)。您甚至可以通过 Databricks CLI 来实现,直接从您的计算机或通过 REST API。
DBFS 中的另一个对象是挂载点,其有 special commands .如有必要,您可以卸载挂载点

关于pyspark - 从数据 block DBFS 中删除记录,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68304595/

33 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com