- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在尝试转换 Dataframe 中的 json 文件,但我陷入了基于数组的字段中。我正在使用 Spark 1.6 和 Java。当我读取嵌套的 Json 并转换为 Dataframe 时,我可以读取一些字段,但是当我尝试输入特定路径时会显示错误。
DataFrame df = spark.read().json(sc.wholeTextFiles("PATH").values());
我正在读取一个 json 文件。
df.select(col("orcamentos.itens")).printSchema();
root
|-- itens: array (nullable = true)
| |-- element: array (containsNull = true)
| | |-- element: struct (containsNull = true)
| | | |-- criticas: array (nullable = true)
| | | | |-- element: struct (containsNull = true)
| | | | | |-- codigo: long (nullable = true)
| | | | | |-- codigoCenario: string (nullable = true)
| | | | | |-- codigodevolutiva: long (nullable = true)
| | | | | |-- descricao: string (nullable = true)
| | | | | |-- flagLiberacao: string (nullable = true)
| | | | | |-- statusCenario: string (nullable = true)
| | | |-- devolutivas: array (nullable = true)
| | | | |-- element: struct (containsNull = true)
| | | | | |-- codigo: long (nullable = true)
| | | | | |-- descricao: string (nullable = true)
| | | | | |-- texto: string (nullable = true)
| | | | | |-- tipo: struct (nullable = true)
| | | | | | |-- codigo: long (nullable = true)
| | | | | | |-- descricao: string (nullable = true)
| | | |-- numeroItem: long (nullable = true)
| | | |-- rastreador: struct (nullable = true)
| | | | |-- concessao: struct (nullable = true)
| | | | | |-- codigo: long (nullable = true)
| | | | | |-- descricao: string (nullable = true)
| | | | |-- dispositivo: struct (nullable = true)
| | | | | |-- codigo: long (nullable = true)
| | | | | |-- descricao: string (nullable = true)
我正在尝试使用以下命令打印字段“numeroItem”:
df.select(col("orcamentos.itens.numeroItem")).show();
但我收到以下错误:
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'orcamentos.itens[numeroItem]' due to data type mismatch: argument 2 requires integral type, however, 'numeroItem' is of string type.;
at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42)
at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:65)
at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:57)
当我尝试仅打印上面的节点(numeroItem 的父亲)时,从数据帧返回列,如下所示:
df.select(col("orcamentos.itens")).show();
+---------------------------------------+
|itens |
+---------------------------------------+
|[WrappedArray([WrappedArray([5000,3,4,D|
+---------------------------------------+
如果该字段由 WrappedArray 组成,我该如何使用它?稍后,我需要动态爆炸该字段/数组。
最佳答案
如果你可以修改json输入,你可以这样做:
在 json 文件中,数组位于一个大对象内。为了使 Spark 能够将数组视为 DataFrame 中的单独行,您应该将数组作为根元素。
所以不是{"itens":[<element1>,...,<elementN>]}
,而是[<element1>, ..., <elementN>]
关于java - 尝试使用 SPARK 1.6 (WrappedArray) 从嵌套 JSON 中收集值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57877801/
说真的,你怎么能在不发疯的情况下处理所有这些异常呢?我是不是读了太多关于异常处理的文章或什么?我尝试重构了几次,但每次似乎都以更糟糕的结果告终。也许我应该承认确实会发生异常(exception)情况,
背景 两者 try/rescue和 try/catch是 Elixir 中的错误处理技术。根据 corresponding chapter在介绍指南中。 Errors can be rescued u
每当我尝试在 Raspberry PI 上运行此 python 脚本时,我都会遇到问题: import socket import sys # Create a TCP/IP socket sock
我想知道一些关于 PHP 的 try , catch声明。 让我们考虑以下示例。 abstract class ExceptionA extends Exception {} class Except
我的 laravel v5.4 项目中有两个模型,user 和 admin。 在 config/auth.php 中,我向守卫和提供者添加了管理员,如下所示: 'guards' => [ 'w
try: r = requests.get(url, params={'s': thing}) except requests.ConnectionError, e: print e
我有以下代码。 但是,它并不能捕获所有错误,而我仍然会收到“throw er;//未处理的'错误'事件”。 为什么是这样? app.post('/api/properties/zip/:zip/bed
问题与细节 我正在使用自定义错误处理,遇到的错误之一是“路径中的非法字符”。我有一个自定义函数,旨在通过路径字符串查找此类非法字符,并在找到它们时引发自定义错误。但是我发现,取决于非法字符,Test-
This question already has answers here: How do I catch a numpy warning like it's an exception (not j
我正在使用其他人的代码,但我不熟悉try/catch,因此我举了一个类似的小例子。在第11行上,如果我写了error(''),似乎没有发现错误并增加了索引j。但是,编写error(' ')或error
我在我的一个程序中遇到了这个问题,在这种情况下,尝试/异常(exception)的错误使程序变得更好,以防用户意外输入了他们不应该输入的内容。它仍然给我错误,我为为什么感到困惑。如果对我的问题确实很重
我在尝试TRY ... CATCH块时遇到问题。有人可以解释为什么以下代码无法执行我的sp吗? DECLARE @Result int SET @Result = 0 BEGIN TRY SE
我有一个相当大的 powershell 脚本,其中包含许多(20 多个)执行各种操作的函数。 现在所有代码实际上都没有任何错误处理或重试功能。如果某个特定的任务/功能失败,它就会失败并继续。 我想改进
为什么我尝试时需要导入 inputmismatchException catch(InputMismatchException e){ System.out.println("
我对此感到困惑 - 我为辅助方法编写了一个 try/catch 。它的目的是捕获任何无效输入(任何不是“男性”或“女性”的内容(没有特定情况)。如果输入无效,它将通知用户,然后让他们重试。如果有效,则
我有时会发现自己处于如下场景。尽可能简单地陈述问题 “有时我会创建一段代码,Java 让我将其包含在 try/catch 语句中。我没有使用 catch,所以我将其留空。为什么这是错误的?” boo
我有点困惑为什么当我不使用 Try block 时会出现 Try block 错误。 我在代码块底部附近收到错误通知。如果我不使用 try/catch,有人可以向我解释为什么会发生这种情况吗? 它是否
我已经盯着我的电脑两个小时了,我不知道我做错了什么。谁能帮助我看到光明? package blackjack; import java.util.Random; import java.util.Sc
我想将方法保存在 Enum 中,但 Class.getDeclaredMethod 抛出 NoSuchMethodException,那么我该如何处理呢?我的代码: public enum Car
这个问题已经有答案了: Executing multi-line statements in the one-line command-line (18 个回答) 已关闭 3 年前。 如何使用try.
我是一名优秀的程序员,十分优秀!