- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我想根据字符的首次出现将 Spark DataFrame 的列分成 2 个不同的列,在本例中为下划线(“_”)。
我准备了一个 100% 可重现的例子:
模拟的 Spark DataFrame 是:
df = spark.createDataFrame(
[
(1, 1.8, 'newyork_3434_north'),
(4, 2.6, 'la_432432432_south'),
(6, 3.3, 'boston_234324_east'),
(8, 4.1, 'detroit_6757_west'),
(2, 5.7, 'miami_133123_north'),
(3, 6.2, 'atlanta_093394_west'),
(1, 6.1, 'houston_87342_east')
],
('ranking', "coordenate", "city")
)
上面的代码创建了一个如下表:
ranking coordenate city
1 1.8 newyork_3434_north
4 2.6 la_432432432_south
6 3.3 boston_234324_east
8 4.1 detroit_6757_west
2 5.7 miami_133123_north
3 6.2 atlanta_093394_west
1 6.1 houston_87342_east
我想做的是根据第一个下划线从左到右的位置将列 city 分成 2 个不同的列。
最终所需的表格将类似于:
ranking coordenate city code
1 1.8 newyork 3434_north
4 2.6 la 432432432_south
6 3.3 boston 234324_east
8 4.1 detroit 6757_west
2 5.7 miami 133123_north
3 6.2 atlanta 093394_west
1 6.1 houston 87342_east
我看过几个关于这个主题的话题,但他们没有谈论字符的第一次出现( link_1 、 link_2 等),而是按字符串中的所有特定字符拆分;或按字符串中字符的特定位置拆分。
我也尝试过 Python Pandas 方法,但正如预期的那样,通过扩展或类比,它不适用于 PySpark (link_3)
预先感谢您的帮助。
最佳答案
我认为这里最好的选择是使用 pyspark.sql.functions.regexp_extract()
和 pyspark.sql.functions.regexp_replace()
:
import pyspark.sql.functions as f
df.select(
"ranking",
"coordenate",
f.regexp_extract("city", pattern="^[A-Za-z]+(?=_)", idx=0).alias('city'),
f.regexp_replace("city", "^[A-Za-z]+_", "").alias("code")
).show()
#+-------+----------+----------+---------------+
#|ranking|coordenate| city| code|
#+-------+----------+----------+---------------+
#| 1| 1.8| newyork| 3434_north|
#| 4| 2.6| la|432432432_south|
#| 6| 3.3| boston| 234324_east|
#| 8| 4.1| detroit| 6757_west|
#| 2| 5.7| miami| 133123_north|
#| 3| 6.2| atlanta| 093394_west|
#| 1| 6.1| houston| 87342_east|
#+-------+----------+----------+---------------+
在这两种情况下,模式本质上是相同的:
^[A-Za-z]+
:匹配从字符串开头开始的任意数量的字母(?=_)
:下划线的正面前瞻对于 city
,我们找到这个模式并提取第一个匹配项。对于 code
,我们将先行更改为匹配并将模式替换为空字符串。
如果很难找到合适的正则表达式模式,这里有一个适用于 Spark 2.1 及更高版本的替代方法:
获取 city
很简单 - 您可以使用 pyspark.sql.functions.split()
将字符串拆分为下划线,然后使用 getItem(0)
获取拆分列表的第一个元素。
对于 code
部分,将 city
拆分为下划线并使用 pyspark.sql.functions.posexplode()
分解结果数组.然后筛选出 pos > 0
,按原始列分组,并使用 pyspark.sql.functions.concat_ws
加入收集到的标记。
df.select(
"*",
f.posexplode(f.split("city", "_")).alias("pos", "token")
)\
.where("pos > 0")\
.groupBy("ranking", "coordenate", "city")\
.agg(f.concat_ws("_" ,f.collect_list("token")).alias("code"))\
.select(
"ranking",
"coordenate",
f.split("city", "_").getItem(0).alias("city"),
"code"
)\
.show()
关于python - 根据第一个字符的出现分隔字符串列,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51540331/
如何使用 SPListCollection.Add(String, String, String, String, Int32, String, SPListTemplate.QuickLaunchO
我刚刚开始使用 C++ 并且对 C# 有一些经验,所以我有一些一般的编程经验。然而,似乎我马上就被击落了。我试过在谷歌上寻找,以免浪费任何人的时间,但没有结果。 int main(int argc,
这个问题已经有答案了: In Java 8 how do I transform a Map to another Map using a lambda? (8 个回答) Convert a Map>
我正在使用 node + typescript 和集成的 swagger 进行 API 调用。我 Swagger 提出以下要求 http://localhost:3033/employees/sear
我是 C++ 容器模板的新手。我收集了一些记录。每条记录都有一个唯一的名称,以及一个字段/值对列表。将按名称访问记录。字段/值对的顺序很重要。因此我设计如下: typedef string
我需要这两种方法,但j2me没有,我找到了一个replaceall();但这是 replaceall(string,string,string); 第二个方法是SringBuffer但在j2me中它没
If string is an alias of String in the .net framework为什么会发生这种情况,我应该如何解释它: type JustAString = string
我有两个列表(或字符串):一个大,另一个小。 我想检查较大的(A)是否包含小的(B)。 我的期望如下: 案例 1. B 是 A 的子集 A = [1,2,3] B = [1,2] contains(A
我有一个似乎无法解决的小问题。 这里...我有一个像这样创建的输入... var input = $(''); 如果我这样做......一切都很好 $(this).append(input); 如果我
我有以下代码片段 string[] lines = objects.Split(new string[] { "\r\n", "\n" }, StringSplitOptions.No
这可能真的很简单,但我已经坚持了一段时间了。 我正在尝试输出一个字符串,然后输出一个带有两位小数的 double ,后跟另一个字符串,这是我的代码。 System.out.printf("成本:%.2
以下是 Cloud Firestore 列表查询中的示例之一 citiesRef.where("state", ">=", "CA").where("state", "= 字符串,我们在Stack O
我正在尝试检查一个字符串是否包含在另一个字符串中。后面的代码非常简单。我怎样才能在 jquery 中做到这一点? function deleteRow(locName, locID) { if
这个问题在这里已经有了答案: How to implement big int in C++ (14 个答案) 关闭 9 年前。 我有 2 个字符串,都只包含数字。这些数字大于 uint64_t 的
我有一个带有自定义转换器的 Dozer 映射: com.xyz.Customer com.xyz.CustomerDAO customerName
这个问题在这里已经有了答案: How do I compare strings in Java? (23 个回答) 关闭 6 年前。 我想了解字符串池的工作原理以及一个字符串等于另一个字符串的规则是
我已阅读 this问题和其他一些问题。但它们与我的问题有些无关 对于 UILabel 如果你不指定 ? 或 ! 你会得到这样的错误: @IBOutlet property has non-option
这两种方法中哪一种在理论上更快,为什么? (指向字符串的指针必须是常量。) destination[count] 和 *destination++ 之间的确切区别是什么? destination[co
This question already has answers here: Closed 11 years ago. Possible Duplicates: Is String.Format a
我有一个Stream一个文件的,现在我想将相同的单词组合成 Map这很重要,这个词在 Stream 中出现的频率. 我知道我必须使用 collect(Collectors.groupingBy(..)
我是一名优秀的程序员,十分优秀!