- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我是 Spark 的新手,有一个大问题,我无法处理,即使经过数小时的搜索......我有一个看起来像这样的 jsonFile:
root
|-- dialogueData: struct (nullable = true)
| |-- dialogueID: string (nullable = true)
| |-- dialogueLength: double (nullable = true)
| |-- speakerChanges: long (nullable = true)
|-- snippetlist: array (nullable = true)
| |-- element: struct (containsNull = true)
| | |-- confidence: double (nullable = true)
| | |-- length: double (nullable = true)
| | |-- role: string (nullable = true)
| | |-- snippetID: string (nullable = true)
| | |-- transcription: string (nullable = true)
| | |-- wordCount: long (nullable = true)
我的程序进行情绪分析并返回带有预测(1.0、0.0、-1.0 等)的数据框列,还返回一些值,例如平均值。现在我的问题:
我想做两件事:
我想将我的平均值添加到第一个结构“dialogeData”
我想将我的整个列作为新结构“sentiment”添加到数组“snippetlist”中,以便为数组中的每个片段显示正确的情绪。
这可能吗?我真的没有找到关于那个案例的任何好东西,所以我真的希望有人能帮助我。
非常感谢!
最佳答案
首先,在任何其他添加方法之前,您需要进行连接,以便您要添加的元素位于添加到原始数据框中的新列中。在任何情况下,一旦你有了相关的数据框,你就可以将它写入 json
要创建相关数据框,您有多种选择:
第一个选项(如果您了解 scala,这是最简单的)是使用 scala,在这种情况下,您可以通过创建一个表示原始值和目标值的案例类并进行相应的转换(不太漂亮)来使用数据集 API。
第二种选择是转为RDD,使用map添加相关数据。这可能非常丑陋且效率低下。
第三种选择是使用 to_json 将整个记录转换为 json 字符串然后您可以编写一个 UDF 将字符串转换为目标的 json(接收附加输入,将 json 转换为字典,更新字典并转换回到 json)。然后可以使用 from_json 函数将生成的字符串转换回数据帧信息。
第四个选项是使用数据框选项。这个想法是,您可以使用 select("structName.*") 展平一个结构,然后您可以使用 struct(col1, col2, ...) 重新创建它。
要将一个元素添加到数组中,您首先需要对其进行 posexplode(这将从数组中的每个元素创建一行,其中一列用于位置,一列用于值),然后展平它,然后添加元素(通过使用 getItem 函数获取相关位置)并转换回 struct 和 collect_list。
关于json - pyspark 将新的嵌套数组添加到现有的 json 文件中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45214892/
我遇到了一个奇怪的问题。我的应用程序的 Release 版本似乎运行良好,但最近当我切换到 Debug 版本时,我在启动时立即遇到访问冲突。当释放分配的内存块时,就会发生访问冲突。所有这些都发生在静态
我在 C# 中偶然发现了这种奇怪的语法形式,并试图弄清楚它的含义以及如何使用它。网络上似乎没有关于此的任何文档。 object data = new { var1 = someValue, var2
我正在尝试使用浏览器的内置类型 CSSStyleDeclaration 以编程方式传递和修改样式(由于 .cssText 属性,这很方便)。 但是,new CSSStyleDeclaration()
我有现成的代码: internal bool firstAsSymbol(out Symbol s) { return (s = first as Symbol) !=
在新的 Eclipse 版本 2022-03 中,一些(但不是全部)java 项目在 Project Explorer View 中的外观发生了变化。尽管 Package Presentation 设
我正在尝试使用 FormData 通过获取 API 在 POST 请求中发送用户输入的数据。问题是,当我用我创建的表单创建一个新的 FormData 对象时,它一直在创建一个空对象——没有条目/键/值
我有一个用一些 intel-intrinsincs 编写的 C 代码。在我先用 avx 然后用 ssse3 标志编译后,我得到了两个完全不同的汇编代码。例如: AVX: vpunpckhbw %xm
最近,discord 为您自己的应用程序添加了对斜杠命令的支持。我通读了它的文档,并尝试搜索一些视频(但是该功能刚刚出现),但我不明白我实际上需要做什么才能使其正常工作。我正在使用 WebStorm(
我想使用 JRI 从 Java 调用 R。 我在 eclipse 下在主类中运行它: Rengine c = new Rengine(new String[] { "--vanilla" },
我正在使用新的 Place Autocomplete那是来自新的静态Google Places SDK 客户端库 (here)。所以它真的很容易使用,我刚得到this tutorial它按预期工作。
我刚刚更新到 flutter 版本 1.25.0-5.0.pre.92,我的代码中出现了很多与空安全相关的错误,这些错误以前运行良好。我没有以任何方式选择空安全,我所做的只是运行 flutter 升级
我已经使用 React Native 有一段时间了,但我想我会在网络上试用 React。所以我遵循了这个指南:https://reactjs.org/docs/create-a-new-react-a
周六早上在这里。尝试学习新的 Scala 编译器 dotty。 安装在我的 Mac 上使用 brew install lampepfl/brew/dotty 安装成功。我有版本 dotr -versi
我使用了谷歌地方的新依赖。单击自动完成 View 时应用程序崩溃。错误如下。, java.lang.NullPointerException: Place Fields must be set.
我关注了这个博客-> https://medium.com/@teyou21/training-your-object-detection-model-on-tensorflow-part-2-e9e
在哪里可以找到用于在此架构上进行组装的新寄存器的名称? 我指的是 X86 中的寄存器,如 EAX、ESP、EBX 等。但我希望它们是 64 位的。 我认为它们与我反汇编 C 代码时不同,我得到的是 r
新的服务总线库 Azure.Messaging.ServiceBus 使用 ServiceBusReceivedMessage 来接收消息 https://learn.microsoft.com/en
需要使用实时流媒体 channel 的实时编码类型在新的 Azure 门户中配置广告插入和石板图像。请帮忙解决这个问题,因为我找不到该功能。 最佳答案 此处描述了 Azure 媒体服务的广告插入选项
我正在使用新的 GitHub 操作,下面的工作流程的想法是在打开或同步 pr 时运行,它应该首先检查并安装依赖项,然后运行一些 yarn 脚本 name: PR to Master on: pul
我听说 DMD 2.058 中将有一个用于匿名函数的新语法,但我找不到任何相关信息。新语法是什么?旧语法是否会被弃用? 最佳答案 我相信它就像 C#'s . 以下内容是等效的: delegate(i,
我是一名优秀的程序员,十分优秀!