- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
如何在使用 databrick spark-xml 库读取 xml 文件时禁用科学记数法。这是场景,我的 XML 文件包含带有空格的数值
<V1>42451267 </V1>
我得到的是 4.2451267E7 而不是 42451267
我该如何解决
我的代码和xml文件如下
val xmlLocation = "sampleFile/xml/sample.xml"
val rootTag = "RTS"
val rowTag = "COLUMNTYPE"
val sqlContext = MySparkDriver.getSqlContext().
read.format("com.databricks.spark.xml")
if (rootTag != null && rootTag.size == 0)
sqlContext.option("rootTag", rootTag)
sqlContext.option("rowTag", rowTag)
val xmlDF = sqlContext.load(xmlLocation)
xmlDF.show(false)
输出
[WrappedArray(4232323.0, 4.2451267E7),21-11-2000 01:04:34,NTS,212212112,100.0,100.0]
预期
[WrappedArray(4232323, 42451267),21-11-2000 01:04:34,NTS,212212112,100.0000,100.0000]
XML文件
<RTS>
<COLUMNTYPE>
<D1>
<V1>4232323</V1>
<V1>42451267 </V1>
<V2>21-11-2000 01:04:34</V2>
<V3>NTS</V3>
<V4>212212112</V4>
<V7>100.0000</V7>
<V8>100.0000 </V8>
</D1>
</COLUMNTYPE>
</RTS>
任何帮助将不胜感激。
最佳答案
我不太确定所有这些的意义是什么,但我在这里看到基本上有两个选择:
如果所有字段都可以解释为大整数,或者您的目标是将这些字段作为整数,那么您可以使用类型转换,在不显着损失功能的情况下,应该或多或少地提供您想要的内容:
case class D1(
v1: Seq[Double], v2: String, v3: String, v4: Long, v7: Double, v8: Double
)
case class ColumnType(d1: D1)
val df = Seq(ColumnType(D1(
Seq(4232323, 42451267),
"21-11-2000 01:04:34",
"NTS",
212212112,
100.0000,
100.0000
))).toDF()
df.select(struct(
$"d1.v1".cast("array<bigint>").alias("v1"),
$"d1.v2", $"d1.v3", $"d1.v4", $"d1.v7", $"d1.v8"
).alias("d1"))
如果您出于演示原因需要特定的数字格式,您可以将数据转换为格式化字符串数组:
val toFormatted = udf((xs: Seq[Double]) => xs.map(x => f"$x%4.0f"))
df.select(struct(
toFormatted($"d1.v1").alias("v1"),
$"d1.v2", $"d1.v3", $"d1.v4", $"d1.v7", $"d1.v8"
).alias("d1"))
关于scala - 如何在 spark-xml 中禁用科学记数法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38196739/
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 想改进这个问题?将问题更新为 on-topic对于堆栈溢出。 6年前关闭。 Improve this qu
我有实体: @Entity @Table(name = "CARDS") public class Card { @ManyToOne @JoinColumn(name = "PERSON_I
我正在尝试计算二维多边形的表面法线。我正在使用 OpenGL wiki 中的 Newell 方法来计算表面法线。 https://www.opengl.org/wiki/Calculating_a_S
关闭。这个问题不符合Stack Overflow guidelines .它目前不接受答案。 这个问题似乎与 help center 中定义的范围内的编程无关。 . 关闭 7 年前。 Improve
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题吗? Update the question所以它是on-topic用于堆栈溢出。 关闭 9 年前。 Improve this
我这里有以下 XML: Visa, Mastercard, , , , 0, Discover, American Express siteonly, Buyer Pay
即将发生的 Google 政策变更迫使我们实现一个对话框,以通知欧盟用户有关 Cookie/设备标识符用于广告和分析的情况。我只想向欧盟用户显示此对话框。我不想使用额外的权限(例如 android.p
本文分享自华为云社区《华为大咖说 | 企业应用AI大模型的“道、法、术” ——道:认知篇》,作者:华为云PaaS服务小智。 本期核心观点 上车:AGI是未来5~10年内,每个人都无法回避的技
我有一个与酒精相关的网站,需要先验证年龄,然后才能让他们进入该网站。我使用 HttpModule 来执行此操作,该模块检查 cookie,如果未设置,我会将它们重定向到验证页面。我验证他们的年龄并存储
在欧盟,我们有一项法律,要求网页请求存储 cookie 的许可。我们大多数人都了解 cookie 并同意它们,但仍然被迫在任何地方明确接受它们。所以我计划编写这个附加组件(ff & chrome),它
以下在 C 和/或 C++ 中是否合法? void fn(); inline void fn() { /*Do something here*/ } 让我担心的是,第一个声明看起来暗示函数将被定义
我是一名优秀的程序员,十分优秀!