gpt4 book ai didi

python - 将 .txt 数据分组到数据框中

转载 作者:太空宇宙 更新时间:2023-11-03 15:36:48 24 4
gpt4 key购买 nike

我有一个包含如下数据的 .txt 文件:

[12.06.17, 13:18:36] Name1: Test test test
[12.06.17, 13:20:20] Name2 ❤️: blabla
[12.06.17, 13:20:44] Name2 ❤️: words words words
words
words
words
[12.06.17, 13:29:03] Name1: more words more words
[12.06.17, 13:38:52] Name3 Surname Nickname: 👍🏼
[12.06.17, 13:40:37] Name1: message?

请注意,消息前可以有多个名称,也可以出现多行消息。在过去的几天里,我已经尝试了很多方法,将数据分成“日期”、“时间”、“名称”、“消息”组。

我能够弄清楚,正则表达式

(.)(\d+\.\d+\.\d+)(,)(\s)(\d+:\d+:\d+)(.)(\s)([^:]+)(:)

能够捕获消息之前的所有内容(参见:https://regex101.com/r/hQlgeM/3)。但我不知道如何添加消息,以便将多行消息分组到上一条消息中。

最后:如果我能够使用正则表达式从 .txt 中捕获每个组,我如何将每个组实际传递到单独的列中。过去三天我一直在查看示例,但我仍然无法弄清楚如何最终构建此数据框。

我尝试使用的代码:

df = pd.read_csv('chat.txt', names = ['raw'])

data = df.iloc[:,0]

re.match(r'\[([^]]+)\] ([^:]+):(.*)', data)

另一个失败的尝试:

input_file = open("chat.txt", "r", encoding='utf-8')

content = input_file.read()

df = pd.DataFrame(content, columns = ['raw'])

df['date'] = df['raw'].str.extract(r'^(.)(\d+\.\d+\.\d+)', expand=True)

df['time'] = df['raw'].str.extract(r'(\s)(\d+:\d+:\d+)', expand=True)

df['name'] = df['raw'].str.extract(r'(\s)([^:]+)(:)', expand=True)

df['message'] = df['raw'].str.extract(r'^(.)(?<=:).*$', expand=True)

df

最佳答案

一个完整的解决方案看起来像

import pandas as pd
import io, re

file_path = 'chat.txt'
rx = re.compile(r'\[(?P<date>\d+(?:\.\d+){2}),\s(?P<time>\d+(?::\d+){2})]\s(?P<name>[^:]+):(?P<message>.*)')
col_list = []
date = time = name = message = ''

with io.open(file_path, "r", encoding = "utf-8", newline="\n") as sr:
for line in sr:
m = rx.match(line)
if m:
col_list.append([date, time, name, message])
date = m.group("date")
time = m.group("time")
name = m.group("name")
message = m.group("message")
else:
if line:
message += line

df = pd.DataFrame(col_list, columns=['date', 'time', 'name', 'message'])

图案细节

  • \[ - 一个 [字符
  • (?P<date>\d+(?:\.\d+){2}) - 组“日期”:1 位以上数字,然后重复 . 两次和两位数
  • ,\s - ,和一个空格
  • (?P<time>\d+(?::\d+){2}) - 组“时间”:1+ 位数字,然后 : 重复两次和两位数
  • ]\s - ]和一个空格
  • (?P<name>[^:]+) - 组“名称”:: 以外的一个或多个字符
  • : - 冒号
  • (?P<message>.*) - 组“消息”:任何 0+ 个字符,尽可能多,直到行尾。

那么,逻辑如下:

  • 读入一行并根据模式进行测试
  • 如果匹配,则初始化四个变量 - 日期、时间、姓名和消息 - 详细信息
  • 如果下一行与模式不匹配,则认为它是消息的一部分,因此附加到 message变量。

关于python - 将 .txt 数据分组到数据框中,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54342230/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com