- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在Python中使用spark.xml读取XML文件,并遇到了一个看似非常具体的问题。
我能够缩小 XML 中产生问题的部分,但无法缩小问题发生的原因。
以下是读取 XML 文件的代码:
src = sqlContext.read.format("com.databricks.spark.xml").options(rowTag="root").load("file.xml")
以下是使用 Spark.xml 库从 XML 读取的架构,其中 rowTag = "root":
root
|-- AID: long (nullable = true)
|-- RID: long (nullable = true)
|-- XmlData: struct (nullable = true)
| |-- NC: struct (nullable = true)
| | |-- RS: struct (nullable = true)
| | | |-- RD: struct (nullable = true)
| | | | |-- CR: struct (nullable = true)
| | | | | |-- Addr1: string (nullable = true)
| | | | | |-- Addr2: string (nullable = true)
| | | | | |-- City: string (nullable = true)
| | | | | |-- InFile: string (nullable = true)
| | | | | |-- Name: string (nullable = true)
| | | | | |-- Phone: long (nullable = true)
| | | | | |-- State: string (nullable = true)
| | | | | |-- Zip: long (nullable = true)
| | | | |-- SC: struct (nullable = true)
| | | | | |-- Class: string (nullable = true)
| | | | | |-- ClassType: string (nullable = true)
| | | | | |-- Message: string (nullable = true)
| | | | | |-- SC: long (nullable = true)
| | | | |-- NC: long (nullable = true)
| | | | |-- CRR: string (nullable = true)
| | | | |-- RM: struct (nullable = true)
| | | | | |-- Addr1: string (nullable = true)
| | | | | |-- City: string (nullable = true)
| | | | | |-- MemberNo: string (nullable = true)
| | | | | |-- Name: string (nullable = true)
| | | | | |-- State: string (nullable = true)
| | | | | |-- Zip: long (nullable = true)
| | | | |-- TL: array (nullable = true)
| | | | | |-- element: struct (containsNull = true)
| | | | | | |-- _AvgDays: long (nullable = true)
| | | | | | |-- _Comment: string (nullable = true)
| | | | | | |-- _Current: long (nullable = true)
| | | | | | |-- _HC: long (nullable = true)
| | | | | | |-- _IndType: string (nullable = true)
| | | | | | |-- _LS: long (nullable = true)
| | | | | | |-- _OpenDate: long (nullable = true)
| | | | | | |-- _PD120Day: long (nullable = true)
| | | | | | |-- _PD30Day: long (nullable = true)
| | | | | | |-- _PD60Day: long (nullable = true)
| | | | | | |-- _PD90Day: long (nullable = true)
| | | | | | |-- _Region: string (nullable = true)
| | | | | | |-- _ReportDate: string (nullable = true)
| | | | | | |-- _SourceID: long (nullable = true)
| | | | | | |-- _TD: long (nullable = true)
| | | | | | |-- _VALUE: string (nullable = true)
| | | | |-- Trends: array (nullable = true)
| | | | | |-- element: struct (containsNull = true)
| | | | | | |-- _CurrentPct: double (nullable = true)
| | | | | | |-- _LineCnt: long (nullable = true)
| | | | | | |-- _PD120DayPct: double (nullable = true)
| | | | | | |-- _PD30DayPct: double (nullable = true)
| | | | | | |-- _PD60DayPct: double (nullable = true)
| | | | | | |-- _PD90DayPct: double (nullable = true)
| | | | | | |-- _PD: string (nullable = true)
| | | | | | |-- _TD: long (nullable = true)
| | | | | | |-- _VALUE: string (nullable = true)
此模式还有更多内容,但由于某种原因,XML 解析器无法超越这一点。我认为 XML 中的“Trends”标签存在问题,但我找不到它。
以下是“趋势”标签条目的示例:
<Trends PD="4205" LineCnt="0" TD="0" CurrentPct="0" PD30DayPct="0" PD60DayPct="0" PD90DayPct="0" PD120DayPct="0" />
据我所知,在以前版本的 XML 解析器中无法读取像这样的闭合标记,但在 Databricks 中使用它时它工作正常,并且我的其他带有闭合标记的文件也能正确读取。
下面是进一步举例说明我所解释内容的最终结果(我的 XML 中有 13 条记录):
+---------+--------+-------+
|AID |RID |XmlData|
+---------+--------+-------+
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
| null| null| null|
+---------+--------+-------+
(这个顶级 View 很好 - 我的代码稍后会迭代“XMLData”中的结构/数组 - 但这当然需要首先填充)
有谁知道为什么这会导致架构在解析时停止加载完成?
请注意,我无法显式定义架构。这将违背我正在从事的项目的目的——我必须能够动态推断模式。这对于我正在使用的其他文件来说同样适用。
最佳答案
原因:
所以我能够弄清楚为什么会发生这种情况。当您尝试转换为数据帧的 xml 具有不一致的值时,您可能会看到此问题。例如,如下所示的内容就会出现此问题:
<?xml version="1.0"?>
<Company>
<Employee id="1">
<Email>tp@xyz.com</Email>
<Measures id="id32" type="AttributesInContext">
<Dimensions value="7in" title="Height"></Dimensions>
<Dimensions value="" title="Weight"></Dimensions></Measures>
</Employee>
<Employee id="2">
<Email>tp@xyz.com</Email>
<Measures id="id33" type="AttributesInContext">
<Dimensions value="6in" title="Height"></Dimensions>
<Dimensions value="" title="Weight"></Dimensions></Measures>
</Employee>
<Employee id="3">
<Email>tp@xyz.com</Email>
<Measures id="id34" type="AttributesInContext">
<Dimensions value="4in" title="Height"></Dimensions>
<Dimensions value="" title="Weight"></Dimensions></Measures>
</Employee>
</Company>
在这里,由于每个 rowTag
条目中都有 value="",因此我们可能会在所有行的数据帧中得到 null,因为它无法推断数据类型。但是,如果您将所有 value=""
字段替换为某个实际值,您将发现不会出现此问题。
解决方案:
根据databricks link ,可以通过在读取 xml 文件时使用 option("nullValue", "")
选项来解决此问题。所以你的命令将如下所示(我在 scala 中尝试过,在 python 中应该类似):
var xmldf = sparkSession.read.format("com.databricks.spark.xml")
.option("rowTag", rootTag).option("nullValue", "").load("/path/to/xml")
关于python - 使用 Spark.xml 读取 XML 时,为什么我的数据框加载了空白值? (Python/数据 block ),我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53657861/
我正在寻找 css 属性以隐藏带或不带 css 类的段落,如果它包含空格 ( ) 或空白,但我想至少保留一个带或不带的段落,如果有更多的话。 隐藏段落,如果它是空白的或包含 white-space(
在 ruby 中对空白有不同的敏感度/设置吗? 我有一个 RoR 项目,其中一个事件记录调用有很多组件: max_stuff = FooSummary.select("max(stuff)
如何在脚注中的数字后留空? 一般来说,对于所有脚注! 例子: 好 : 1 Hello World 坏:1Hello World 最佳答案 正确答案是不要重新定义\thefootnote ,因为这会在脚
我有这段代码,每次第一个 for 循环再次开始时,我希望它将数组重置为空白,因为它正在使用新用户,但我得到的输出包含一个数组中的所有值。 var items = []; for (var i
我试图在CakePHP中生成一个动态xml文档,以输出到浏览器。 这是我的 Controller 代码: Configure::write ('debug', 0); $this->layout =
当我尝试在 nxos 设备上运行某些命令时,输出末尾有一个空格。我必须将输出与现有变量列表进行比较。末尾的空格导致比较错误。如何在字符串列表中使用 .strip() 函数? - name: Curre
我对 Elasticsearch 相当陌生,我一直在尝试对我的数据进行搜索,并且总是让点击部分为空。即使在数据上传和索引之后也会发生这种情况。我的映射如下: { "mappings":{
我想将about:blank页面更改为firefox插件首页页面的url。 如何更改默认的新标签页网址或可以为新标签页提供默认网址? 我正在使用Firefox附加SDK。 最佳答案 您可以结合使用Ta
我正在使用 R 并具有以下数据框示例,其中所有变量都是因子: first second third social birth control high
如何清空显示对话框的页面。下面是我的代码HTML: .ui-dialog, .ui-dialog-content { border:1px solid #cde68c; border-botto
更新“他的问题是要求我只运行一次 str ,他们已经告诉我该函数只需要一个参数)” 我试图返回第一个不重复的字符,例如:“blazqnqbla”->第一个不重复的字符是“z”,因此函数需要返回z。现在
我的登录验证有问题。问题是当我尝试使用管理员登录时,页面停止在 checklogin.php 上并且不会告诉它是否成功。这是我的代码。 索引.html Aplik
我的查询是这样的 SELECT Distinct tm.teamid,tm.Team_Name,CONCAT_WS(' ',tu.FirstName+' '+tu.LastName) as Leade
我正在创建指向页面的超链接 url 由用户输入决定,因此由查询字符串决定 ; 问题是变量状态由两个或多个单词组成。因此,当我尝试单击证明表单中输入的超链接时,仅获取状态变量的第一个单词。浏览器将另一个
该问题在每个浏览器中的表现都不同,例如在 Firefox 中大约一个空格如果您再次滚动到顶部,则会出现具有相同高度的滚动框。在 chrome 中,滚动时框会变得狭窄等等...... 使用的调用是:
我对菜单栏文字之间的 CSS 空白有疑问。我尝试了很多方法,但仍然无法解决。有人可以帮我吗? 菜单问题图片如下: http://imageshack.us/photo/my-images/201/44
我对 有疑问.其中的插入符根据是否为空具有不同的垂直位置: 我的代码: textarea { padding: 0 5px; border: none; outline: n
这个问题在这里已经有了答案: 关闭 10 年前。 Possible Duplicate: Ignore whitespace in HTML 我想在网页上将图片并排放置。这是我的 HTML:
每当我尝试检查元素时,什么都没有出现。我在使用 Chrome。我明白了 Elements | Network | Sources | Timeline | Profiles | Resources |
我在使用 Chrome、Firefox 和 IE 时遇到了一个奇怪的问题。我正在为我的投资组合网站/博客构建一个 WordPress 主题,一切都很好,直到今天,当我在 chrome 中查看该网站时,
我是一名优秀的程序员,十分优秀!