python - python 中的 re.split() 与 str.split()-6ren

python - python 中的 re.split() 与 str.split()

转载作者：行者123 更新时间：2023-12-01 02:10:23

25

4

我遇到过这个函数，它应该标记给定的句子

def basic_tokenizer(sentence):
    words = []
    for space_separated_fragment in sentence.strip().split():
        words.extend(re.split(" ", space_separated_fragment))
    return [w for w in words if w]

据我所知，strip().split()应该已经足够了，但是使用了re.split()，然后甚至在返回中使用了[w for w in Words if w]

我想知道这可能是什么原因？一个通过这三个方法得出不同结果的例子将不胜感激

最佳答案

整个函数可以缩短为:

def basic_tokenizer(sentence):
    return sentence.split()

原因:

sentence.strip().split() 已经去掉了末尾的空格，并在空白处进行了分割，没有必要迭代结果列表并扩展-通过再次按空格分割单词列表 (words.extend(re.split("", space_separated_fragment)))
此外，在 [w for w in Words if w] 中，if w 检查也是多余的，因为不存在错误元素(因为所有元素都是非-空字符串)

关于python - python 中的 re.split() 与 str.split()，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/48736239/

25

4

0

文章推荐： javascript - 如果 div 没有特定的类，则隐藏它

文章推荐： regex - 使用awk计算并打印正则表达式得到的值的平均值

文章推荐： javascript - Angular 2 函数中的父子 bool 值

文章推荐： oop - Magento Tier 销售价格？

swift - str = str + "abc"比 str = "abc"+ str 慢？
你信吗？我有一个这样的循环(请原谅任何错误，我不得不大量编辑大量信息和变量名称，相信我它有效)。 ...旧示例已删除，请参见下面的代码... 如果我将那些中间的 str = "Blah\(odat.c
c# - 为什么是 str = str.Replace().Replace();比 str = str.Replace(); 快str = str.替换()？
我正在做一个本地测试来比较 C# 中 String 和 StringBuilder 的 Replace 操作性能，但是对于 String 我使用了以下代码: String str = "String
c++ - 使用 str += "A"或 str = str + "A"连接字符串之间的性能差异
我想知道为什么str += "A"和 str = str + "A"有不同的表现。在实践中， string str = "cool" for(int i = 0; i approximately
python - 转换类型列表 [ ("[' str' ]", int), ("['str' ]", int)] to [(' str', int), ('str' , int)]
我有一个类型列表 [("['106.52.116.101']", 1), ("['45.136.108.85']", 1)] 并想将其转换为 [('106.52.116.101', 1), ('45.
python - 转换类型列表 [ ("[' str' ]", int), ("['str' ]", int)] to [(' str', int), ('str' , int)]
我有一个类型列表 [("['106.52.116.101']", 1), ("['45.136.108.85']", 1)] 并想将其转换为 [('106.52.116.101', 1), ('45.
string - 为什么遍历 HashMap<&str,&str> 会产生 &&str？
我正在遍历 HashMap并通过一些本地变量中的模式匹配将值放入其中。委托(delegate)者 fn lyrics_no_bottles(song_template:&mut String){
python - 为什么是 str.count ('' ) ≠ (from str.count ('A' ) + str.count ('B' ) + ... + str.count ('Z' ))
如果字符串(短语)中只有元音，它(对我而言)说True；否则说 False。我不明白为什么它总是返回 False，因为 (x >= x) 总是返回 True。我感谢任何人检查此查询的解决方案。 (st
rust - 我如何实现一种方法来处理 &str、Box、Rc 等？
我有代码以某种方式转换字符串引用，例如取第一个字母 trait Tr { fn trim_indent(self) -> Self; } impl Tr for &'a str { f
c++ - char* str ="ab", str 和 &str 的混淆
我正在学习指针，这是我的代码。我定义了一个指向 char(实际上是字符串)的指针 *str 和一个指向 int *a 的指针，它们的定义方式相同。我认为 str 和 a 都应该是一个地址，但是当我试图
python - Mypy 索引类型 "str"为 "Union[str, Dict[str, str]]"无效；预期类型 "Union[int, slice]"
为什么我会收到错误消息？我已经正确添加了类型，对吗？ Invalid index type "str" for "Union[str, Dict[str, str]]"; expected type
javascript - ['null' ,'' ,'undefined' ].indexOf(str) < 0 和 (str !== null || str !== '' || str !== undefined) 等价吗？
你知道下面两个函数是否等价吗？ function validate(str) { return ( ['null','','undefined'].indexOf(str) [v, valida
python - pd.Series.str.lower.replace ('str' , 'replace_str' ) 不起作用但 pd.Series.str.replace。 ('STR' , 'replace_str' ) 呢？
我正在解决这里的 Dataquest 问题:https://app.dataquest.io/m/293/data-cleaning-basics/5/removing-non-digit-chara
python - 将 str 列表排序为成对的 str，其中一个 str 具有 -R
我有一个字符串列表，如下所示: ["A TB", "A-R TB", "B TB", "B-R TB", "C TB", "C-R TB"...] 但字符串的顺序是随机的。我如何编写一个将元素配对的函
python - Pandas str.extract : AttributeError: 'str' object has no attribute 'str'
我正在尝试将此函数从使用 split 改为使用 str.extract (正则表达式)。 def bull_lev(x): spl = x.rsplit(None, 2)[-2].strip(
python - 将 [{str :int}, {str :int}, ... ] 的字典列表转换为 {str:int} 的单个字典
给定这样的数据结构: [{'a':1, 'b': 2}, {'c':3 }, {'a':4, 'c':9}, {'d':0}, {'d': 0, 'b':6}] 目标是解析数据以产生: {'a': 2
python - 将 [{str :int}, {str :int}, ... ] 的字典列表转换为 {str:int} 的单个字典
给定这样的数据结构: [{'a':1, 'b': 2}, {'c':3 }, {'a':4, 'c':9}, {'d':0}, {'d': 0, 'b':6}] 目标是解析数据以产生: {'a': 2
python - pyside/pyqt : when converting str() to QTreeWidgetItem() the str() is shortened to the [0] of str()
s = 'someString' s = QTreeWidgetItem(s) print(s.text(0)) # 0 being 'column' 输出: 's' 如果我对另一
c++ - 黑白 char* str[]、char *str 和 char str[] 的区别
黑白有什么区别: function(char* str ) function(char* str[] ) function(char str[] ) 它们是如何被调用的(通过什么类型的string/c
javascript - JavaScript 中的 str.fun()/str.fun/fun(str) 有什么区别？
我试过谷歌搜索但找不到准确的答案，所以请允许我尝试在这里提问。如果问题看起来不合适，请告诉我，我会删除它。在 JS 中，您可以通过三种不同的方式编写特定的内置功能: 字符串长度 str.toStri
c - *str 和 *str++
我有这段代码(我的 strlen 函数) size_t slen(const char *str) { size_t len = 0; while (*str) {

首页

博学

6Ren·AI

商城

python - python 中的 re.split() 与 str.split()