- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我正在FHIR
资源上工作,在这里我得到如下JSON数据:
{
"appointmentRef": "Appointment/12213#4200",
"encounterLengh": "2",
"billingAccount": "savingsAccount",
"hospitalization": "{\"preAdmissionIdentifierSystem\":\"https://system123445.html\",\"preAdmissionIdentifierValue\":\"pqr\",\"origin\":\"hospital\",\"admitSourceCode\":\"outp\",\"admitSourceReason\":\"some thing\",\"eid\":200,\"destination\":\"hospital\"}",
"resourceType": "Encounter",
"priority": "abc",
"status": "triaged",
"eid": "200",
"subject": "Patient/435"
}
因此,以前对于根级别的属性(例如
appointmentRef
等),它们在R.H.S上也有
"\"
,我能够通过我的代码将其删除。但是,从上面的数据可以看出,对于嵌套属性,我的代码无法正常工作。
rowList.groupBy(row => row.key).foreach(rowList => {
import com.google.gson.{Gson, JsonObject}
val map: Map[String, String] = mutable.Map()
rowList._2.foreach(row => {
LOGGER.debug(s"row == $row")
if (Utility.isBlank(row.jsonElementTag)) {
val convertedObject = new Gson().fromJson(row.value, classOf[JsonObject])
val itr = convertedObject.entrySet().iterator()
while (itr.hasNext) {
val next = itr.next()
val value = next.getValue.getAsString
val key = next.getKey
LOGGER.debug(s"key-- $key value --$value")
map.put(key, value)
}
}
else {
val convertedObject = new Gson().fromJson(row.value, classOf[JsonObject])
LOGGER.debug(s"convertedObject == $convertedObject")
if (null != map.get(row.jsonElementTag).getOrElse(null)) {
LOGGER.debug("map.get(row.jsonElementTag).get === "+row.jsonElementTag +" "+map.get(row.jsonElementTag).get)
var array: JsonArray = new JsonArray
val mapElement = new Gson().fromJson(map.get(row.jsonElementTag).get, classOf[JsonObject])
array.add(mapElement)
array.add(convertedObject)
map.put(row.jsonElementTag, array.toString)
}
else {
map.put(row.jsonElementTag, convertedObject.toString)
}
}
})
我只是从数据框中获取行并遍历行,将其视为字符串,然后将其放入键值对中。父级属性将运行
if
循环,嵌套属性将执行
else-if
循环。
replace("\","")
的更简单方法,但是没有用。那么,如何从嵌套属性中删除
"\"
?
expected
输出是我的嵌套JSON属性中应该没有
"\"
。
最佳答案
hospitalization
列的类型为string,其中包含json object
。要将字符串提取或转换为json,请根据该列中的数据准备schema
。
检查以下代码。
scala> import org.apache.spark.sql.types._
import org.apache.spark.sql.types._
scala> val schema = DataType.fromJson("""{"type":"struct","fields":[{"name":"admitSourceCode","type":"string","nullable":true,"metadata":{}},{"name":"admitSourceReason","type":"string","nullable"
:true,"metadata":{}},{"name":"destination","type":"string","nullable":true,"metadata":{}},{"name":"eid","type":"long","nullable":true,"metadata":{}},{"name":"origin","type":"string","nullable":tr
ue,"metadata":{}},{"name":"preAdmissionIdentifierSystem","type":"string","nullable":true,"metadata":{}},{"name":"preAdmissionIdentifierValue","type":"string","nullable":true,"metadata":{}}]}""").
asInstanceOf[StructType]
scala> df.withColumn("hospitalization",from_json($"hospitalization",schema)).printSchema
root
|-- appointmentRef: string (nullable = true)
|-- billingAccount: string (nullable = true)
|-- eid: string (nullable = true)
|-- encounterLengh: string (nullable = true)
|-- hospitalization: struct (nullable = true)
| |-- admitSourceCode: string (nullable = true)
| |-- admitSourceReason: string (nullable = true)
| |-- destination: string (nullable = true)
| |-- eid: long (nullable = true)
| |-- origin: string (nullable = true)
| |-- preAdmissionIdentifierSystem: string (nullable = true)
| |-- preAdmissionIdentifierValue: string (nullable = true)
|-- priority: string (nullable = true)
|-- resourceType: string (nullable = true)
|-- status: string (nullable = true)
|-- subject: string (nullable = true)
scala> df.withColumn("hospitalization",from_json($"hospitalization",schema)).show(false)
+----------------------+--------------+---+--------------+---------------------------------------------------------------------------+--------+------------+-------+-----------+
|appointmentRef |billingAccount|eid|encounterLengh|hospitalization |priority|resourceType|status |subject |
+----------------------+--------------+---+--------------+---------------------------------------------------------------------------+--------+------------+-------+-----------+
|Appointment/12213#4200|savingsAccount|200|2 |[outp, some thing, hospital, 200, hospital, https://system123445.html, pqr]|abc |Encounter |triaged|Patient/435|
+----------------------+--------------+---+--------------+---------------------------------------------------------------------------+--------+------------+-------+-----------+
更新
import org.apache.spark.sql.functions._
import org.apache.spark.sql.expressions._
import org.json4s.JsonDSL._
import org.json4s._
import org.json4s.jackson.JsonMethods._
val append = udf((rowId: Long,json: String) => {
compact(render(Map("rowId" -> parse(rowId.toString),"data" ->parse(json))))
})
implicit class DFHelper(df: DataFrame) {
import df.sparkSession.implicits._
def parseJson = df.sparkSession.read.option("multiLine","true").json(df.map(_.getString(0)))
//Convert string to json object or array of json object
def extract(column: Column) = {
val updatedDF = df.withColumn("rowId",row_number().over(Window.orderBy(lit(1))))
val parsedDF = updatedDF.filter(column.isNotNull)
.select(append($"rowid",column).as("row"))
.parseJson
updatedDF.join(
parsedDF.select($"rowId",$"data".as(column.toString())),
updatedDF("rowId") === parsedDF("rowId"),
"left"
)
.drop("rowId") // Deleting added rowId column.
}
}
scala> df.extract($"hospitalization").printSchema()
root
|-- appointmentRef: string (nullable = true)
|-- billingAccount: string (nullable = true)
|-- eid: string (nullable = true)
|-- encounterLengh: string (nullable = true)
|-- hospitalization: string (nullable = true)
|-- priority: string (nullable = true)
|-- resourceType: string (nullable = true)
|-- status: string (nullable = true)
|-- subject: string (nullable = true)
|-- hospitalization: struct (nullable = true)
| |-- admitSourceCode: string (nullable = true)
| |-- admitSourceReason: string (nullable = true)
| |-- destination: string (nullable = true)
| |-- eid: long (nullable = true)
| |-- encounterLengh: string (nullable = true)
| |-- origin: string (nullable = true)
| |-- preAdmissionIdentifierSystem: string (nullable = true)
| |-- preAdmissionIdentifierValue: string (nullable = true)
scala> df.extract($"hospitalization").show(false)
+----------------------+--------------+---+--------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--------+------------+-------+-----------+------------------------------------------------------------------------------+
|appointmentRef |billingAccount|eid|encounterLengh|hospitalization |priority|resourceType|status |subject |hospitalization |
+----------------------+--------------+---+--------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--------+------------+-------+-----------+------------------------------------------------------------------------------+
|Appointment/12213#4200|savingsAccount|200|1 |{"encounterLengh": "1","preAdmissionIdentifierSystem":"https://system123445.html","preAdmissionIdentifierValue":"pqr","origin":"hospital","admitSourceCode":"outp","admitSourceReason":"some thing","eid":200,"destination":"hospital"}|abc |Encounter |triaged|Patient/435|[outp, some thing, hospital, 200, 1, hospital, https://system123445.html, pqr]|
+----------------------+--------------+---+--------------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+--------+------------+-------+-----------+------------------------------------------------------------------------------+
关于scala - 无法使用Spark Scala从json嵌套属性中删除 “\”,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62909508/
最近开始学习MongoDB。今天老师教了我们 mongoexport 命令。在练习时,我遇到了一个典型的问题,包括教练在内的其他同学都没有遇到过。我在我的 Windows 10 机器上使用 Mongo
我是 JSON Schema 的新手,读过什么是 JSON Schema 等等。但我不知道如何将 JSON Schema 链接到 JSON 以针对该 JSON Schema 进行验证。谁能解释一下?
在 xml 中,我可以在另一个 xml 文件中包含一个文件并使用它。如果您的软件从 xml 获取配置文件但没有任何方法来分离配置,如 apache/ngnix(nginx.conf - site-av
我有一个 JSON 对象,其中包含一个本身是 JSON 对象的字符串。我如何反序列化它? 我希望能够做类似的事情: #[derive(Deserialize)] struct B { c: S
考虑以下 JSON { "a": "{\"b\": 12, \"c\": \"test\"}" } 我想定义一个泛型读取 Reads[Outer[T]]对于这种序列化的 Json import
关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。 想改善这个问题吗?更新问题,使其成为 on-topic对于堆栈溢出。 11 个月前关闭。 Improve
我的旧项目在 MySQL 中有 Standard JSON 格式的数据。 对于我在 JS (Node.js) 和 DynamoDB 中的全新项目,关于 Standard JSON格式: 是否建议将其转
JSON 值字符串、数字、true、false、null 是否是有效的 JSON? 即,是 true 一个有效的 JSON 文档?还是必须是数组/对象? 一些验证器接受这个(例如 http://jso
我有一个 JSON 字符串,其中一个字段是文本字段。这个文本字段可以包含用户在 UI 中输入的文本,如果他们输入的文本是 JSON 文本,也许是为了说明一些编码,我需要对他们的文本进行编码,以便它不会
我正在通过 IBM MQ 调用处理数据,当由 ColdFusion 10 (10,0,11,285437) 序列化时,0 将作为 +0.0 返回,它会导致无效的 JSON并且无法反序列化。 stPol
我正在从三个数组中生成一个散列,然后尝试构建一个 json。我通过 json object has array 成功了。 require 'json' A = [['A1', 'A2', 'A3'],
我从 API 接收 JSON,响应可以是 30 种类型之一。每种类型都有一组唯一的字段,但所有响应都有一个字段 type 说明它是哪种类型。 我的方法是使用serde .我为每种响应类型创建一个结构并
我正在下载一个 JSON 文件,我已将其检查为带有“https://jsonlint.com”的有效 JSON 到文档目录。然后我打开文件并再次检查,结果显示为无效的 JSON。这怎么可能????这是
我正在尝试根据从 API 接收到的数据动态创建一个 JSON 对象。 收到的示例数据:将数据解码到下面给出的 CiItems 结构中 { "class_name": "test", "
我想从字符串转换为对象。 来自 {"key1": "{\n \"key2\": \"value2\",\n \"key3\": {\n \"key4\": \"value4\"\n }\n
目前我正在使用以下代码将嵌套的 json 转换为扁平化的 json: import ( "fmt" "github.com/nytlabs/gojsonexplode" ) func
我有一个使用来自第三方 API 的数据的应用程序。我需要将 json 解码为一个结构,这需要该结构具有“传入”json 字段的 json 标签。传出的 json 字段具有不同的命名约定,因此我需要不同
我想使用 JSON 架构来验证某些值。我有两个对象,称它们为 trackedItems 和 trackedItemGroups。 trackedItemGroups 是组名称和 trackedItem
考虑以下案例类模式, case class Y (a: String, b: String) case class X (dummy: String, b: Y) 字段b是可选的,我的一些数据集没有字
我正在存储 cat ~/path/to/file/blah | 的输出jq tojson 在一个变量中,稍后在带有 JSON 内容的 curl POST 中使用。它运作良好,但它删除了所有换行符。我知
我是一名优秀的程序员,十分优秀!