amazon-web-services - 如何创建分区具有不同列的 AWS Glue 表？ ('HIVE_PARTITION_SCHEMA

amazon-web-services - 如何创建分区具有不同列的 AWS Glue 表？ ('HIVE_PARTITION_SCHEMA_MISMATCH' )

转载作者：行者123 更新时间：2023-12-03 09:56:13

28

4

按此 AWS Forum Thread ，有谁知道如何使用 AWS Glue 创建一个 AWS Athena 表，该表的分区包含不同的架构(在这种情况下，表架构中的列的不同子集)？

目前，当我对这些数据运行爬虫然后在 Athena 中进行查询时，我收到错误 'HIVE_PARTITION_SCHEMA_MISMATCH'
我的用例是:

分区代表天数

文件代表事件

每个事件都是单个 s3 文件中的一个 json blob

事件包含列的子集(取决于事件类型)

整个表的“架构”是所有事件类型的完整列集(这是由 Glue 爬虫正确组合在一起的)

每个分区的“架构”是当天发生的事件类型的列子集(因此在 Glue 中，每个分区可能具有来自表架构的不同列子集)

这种不一致导致了 Athena 中的错误，我认为

如果我要手动编写模式，我可以做得很好，因为只有一个表模式，并且 JSON 文件中缺少的键将被视为空值。

提前致谢!

最佳答案

我遇到了同样的问题，通过配置爬虫来更新预先存在的分区的表元数据来解决它:

关于amazon-web-services - 如何创建分区具有不同列的 AWS Glue 表？ ('HIVE_PARTITION_SCHEMA_MISMATCH' )，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/46241088/

28

4

0

文章推荐： validation - 引用 Powershell 的 ValidateScript 中的其他参数

文章推荐： javascript - HTML 表单提交 : open PHP in invisible browser tab

文章推荐： javascript - 如何将属性定义为变量？

java - 为什么Maven在寻找 `webapp\WEB-INF\web.xml`而不是 `web-app\WEB-INF\web.xml`
我有一个几乎可以构建的Maven / Grails应用，但在web.xml上找不到[my-app]\webapp\WEB-INF\web.xml。但是目录结构像往常一样包含web-app文件夹，而不是
web-services - Web 服务和 Web 套接字之间的区别
正如我在标题中提到的:我想知道 web-service 和 web-socket 之间的区别？我们什么时候使用每一个？谢谢! 最佳答案一个web service是一个响应客户端 SOAP/REST
web-services - Web 服务和 Web 应用程序之间的区别
让我们看一个示例场景: 客户端打开一个网站并找到他从文本框中输入的两个数字的总和。然后单击“添加”按钮。两个参数通过 HTTP GET 发送到服务器，在服务器上写入 PHP 代码以添加数字，结果为回声
web-services - Web 服务与 Web 应用程序
我知道这是一个老问题，肯定已经被回答了数百次，但我还无法找到令人满意的答案。我正在创建一个应用程序，其他应用程序(移动/网络)将使用该应用程序来获取数据。现在我有两个选择: 将我的应用程序创建为简单
Azure Web 作业 - 同一 Web 作业中的多个函数和/或同一 Web 应用程序中的多个 Web 作业对性能有何影响？
通过 Web 作业部署新功能有 3 种方法: 创建一个新的 Web 应用，并部署一个包含该函数的 Web 作业。向现有 Web 作业添加一项新函数(这样您现在在一个 Web 作业中就拥有了多个函数)
web - Zabbix web 场景 - 如何在通知中包含 web 响应的内容？
我收到来自网络场景的通知，上面写着“问题”和“确定”。我想在问题发生时包含网络响应的内容。我不担心标题值，只担心网页的内容. 这是我可以在通知设置中引用的变量吗？最佳答案不幸的是 zabbix 不
web-applications - 学习 Web 应用程序的 Web 设计的最佳资源是什么？
就目前而言，这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持，但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开，visit the he
web-applications - Web 应用程序、基于 Web 的应用程序和云应用程序之间的区别
嗨，这是一个理论问题，但我真的无法弄清楚 Web 应用程序、基于 Web 的应用程序和基于云的应用程序之间的区别。这个你能帮我吗。最佳答案 @Matt 是对的 - 这真的无关紧要，但是，为了清楚起见
web-services - 从网站到 Web 应用程序的 Web 服务消费
我正在尝试使用多个 Web 服务，这些服务在它们的 wsdl 中重新定义了一些相同的公共(public)类。我目前在网站中引用了它们，但我想转换为 Web 应用程序。由于一些相同的类是从多个 Web
web-services - 将 Web 应用程序转换为 Web 服务
一个。我必须考虑哪些事项？b.当前应用程序正在执行多个存储过程。如果我创建等效的方法来执行这些过程，会有什么风险或挑战。最佳答案在架构上，将网络应用程序转换为网络服务时必须考虑的一件事是，对方法和
web-services - RESTful Web 服务的 Web 目录？
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。 5年前关闭。 Improve thi
web-services - Web API 和 Web 服务有什么区别？
网络 API 和网络服务之间有什么区别吗？或者它们是同一个吗？最佳答案网络服务通常提供 WSDL您可以从中自动创建客户端 stub 。 Web 服务基于 SOAP protocol 。ASP.NE
web-services - 如何使用网络安全组仅允许我的 Web 应用程序与我的 Web 服务通信
我已经获得了我需要的所有资源。我将 Web 服务放入应用程序服务环境中，然后将 NSG 连接到应用程序服务环境使用的子网。然后，我允许 VNET 内的应用程序与 Web 服务进行通信，但它无法正常工作
web-services - 如何使用网络安全组仅允许我的 Web 应用程序与我的 Web 服务通信
我已经获得了我需要的所有资源。我将 Web 服务放入应用程序服务环境中，然后将 NSG 连接到应用程序服务环境使用的子网。然后，我允许 VNET 内的应用程序与 Web 服务进行通信，但它无法正常工作
web-services - Web 服务测试隔离 - 但何时验证 Web 服务本身？
我正在使用 stub 将我的网络服务相关测试与实际网络服务隔离开来。你/我应该如何合并测试以确保我制作的响应与实际的网络服务匹配(我无法控制它)？我不想知道怎么做，而是何时何地？我应该为测试数据
web-services - WEB API 的 VS WEB 服务？
我在互联网上搜索了很多，但我仍然没有得到网络服务和网络 API 之间的明显区别？我在某处读到所有 Web 服务都是 API，但所有 API 都不是 Web 服务。如何？我所知道的是两者都允许利用其他
java - 将 Web 应用程序移动到 Web 托管/Web 服务器
假设我已经完成了使用 JavaEE 制作的 Web 应用程序。这个 Web 应用程序包含登录系统，但最后它是非常基本的 Web 应用程序。我使用的是 GlassFish 3.1.2.2。我想知道一旦
expression-web - Microsoft Expressions Web 是否支持 Web 应用程序项目？
我希望设计者能够打开与我相同的解决方案文件。这可以通过 Expressions Web 实现吗？最佳答案简短的回答是“不”；但这是一个非常常见的请求，我知道很多人都希望下一个版本(无论何时)对此有
web-services - ColdFusion 在本地计算机而不是 Web 服务器上查找 Web 服务导入语句中的文件
我正在尝试在 CF10 中创建一个 Web 服务对象。我已验证它在 SoapUI 中按预期工作。但是，当我在 CF 中运行它时，我得到一个错误，它无法找到在 WSDL 的导入语句中导入的 XSD。这是
java - Web 服务设计 - 外部 Web 服务和客户端之间的中间 Web 服务
我的要求是开发一个 Web 服务，充当外部 Web 服务和客户端之间的中间人。我知道，我可以为我的服务设计一个wsdl，然后将外部wsdl映射到代码中我的wsdl。我的问题是有一个开源 api/工具

首页

博学

6Ren·AI

商城

amazon-web-services - 如何创建分区具有不同列的 AWS Glue 表？ ('HIVE_PARTITION_SCHEMA_MISMATCH' )