python文本数据处理学习笔记详解-6ren

python文本数据处理学习笔记详解

转载作者：qq735679552 更新时间：2022-09-28 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章python文本数据处理学习笔记详解由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

最近越发感觉到限制我对python运用、以及读懂别人代码的地方，大多是在于对数据的处理能力.

其实编程本质上就是数据处理，怎么把文本数据、图像数据，通过python读入、切分等，变成一个n维矩阵，然后再带入别人的模型，bingo~跑出来一个结果。结果当然也是一个矩阵或向量的形式.

所以说，之所以对很多模型、代码束手无策，其实还是没有掌握好数据处理的“屠龙宝刀”，无法对海量数据进行“庖丁解牛”般的处理。因此，我想以一个别人代码中的一段为例，仔细琢磨文本数据处理的精妙之处，争取能够加深对这方面的运用与理解.

1）问题描述。

数据：某个区域181天内的访客数据，格式如下，第一列代表访客的名称，第二列代表这位访客在181天内到达这片区域的时刻:

python文本数据处理学习笔记详解

目的：将访客数据进行统计，并时间离散化，按照天 /周/小时处理为72624的三维矩阵。也就是说，矩阵中的每一个值，代表该区域周x、第几周、几点的到访人数，如 [1,5,19]=100,代表第5周的周一晚上7点的人数为100.

2）难点。

当然是对我的难点.

2.1）怎么按行统计。

2.2）怎么进行时间离散化（存为天、周、时刻的矩阵）。

3）代码。

 
    ? 
   
         import 
         time 
        
         import 
         numpy as np 
        
         import 
         sys 
        
         import 
         datetime 
        
         import 
         pandas as pd 
        
         import 
         os 
        
         #用字典查询代替类型转换，可以减少一部分计算时间 
        
         date2position  
         = 
         {} 
        
         datestr2dateint  
         = 
         {} 
        
         str2int  
         = 
         {} 
        
         for 
         i  
         in 
         range 
         ( 
         182 
         ): 
        
         date  
         = 
         datetime.date(day 
         = 
         1 
         , month 
         = 
         10 
         , year 
         = 
         2018 
         ) 
         + 
         datetime.timedelta(days 
         = 
         i) 
        
         #print(i,":",date) 
        
         date_int  
         = 
         int 
         (date.__str__().replace( 
         "-" 
         , "")) 
        
         date2position[date_int]  
         = 
         [i 
         % 
         7 
         , i 
         / 
         / 
         7 
         ] 
        
         datestr2dateint[ 
         str 
         (date_int)]  
         = 
         date_int 
        
         #print(datestr2dateint) 
        
         # 
        
         for 
         i  
         in 
         range 
         ( 
         24 
         ): 
        
         str2int[ 
         str 
         (i).zfill( 
         2 
         )]  
         = 
         i 
        
         f 
         = 
         open 
         ( 
         "d:\baidubigdata19-urfc-master\\urbanregionfunctionclassification-master\data\\train_visit\\000000_008.txt" 
         ) 
        
         #table = pd.read_csv(f, header=none,error_bad_lines=false) 
        
         table  
         = 
         pd.read_csv(f, header 
         = 
         none,sep 
         = 
         '\t' 
         ) 
        
         #print(table.shape) 
        
         #print(table.ix[1]) 
        
         strings  
         = 
         table[ 
         1 
         ] 
        
         #print(strings) 
        
         init  
         = 
         np.zeros(( 
         7 
         ,  
         26 
         ,  
         24 
         )) 
        
         for 
         string  
         in 
         strings: 
        
         temp  
         = 
         [] 
        
         for 
         item  
         in 
         string.split( 
         ',' 
         ): 
        
         temp.append([item[ 
         0 
         : 
         8 
         ], item[ 
         9 
         :].split( 
         "|" 
         )]) 
        
         for 
         date, visit_lst  
         in 
         temp: 
        
         # x - 第几周 
        
         # y - 第几天 
        
         # z - 几点钟 
        
         # value - 到访的总人数 
        
         # print(visit_lst) 
        
         print 
         (date) 
        
         x, y  
         = 
         date2position[datestr2dateint[date]] 
        
         for 
         visit  
         in 
         visit_lst:  
         # 统计到访的总人数 
        
         init[x][y][str2int[visit]]  
         + 
         = 
         1 
        
         #print(init[x][y][str2int[visit]])```

3.1）创建字典，时间离散化，节省时间。

此处创建了三个字典，让我们看一下代码实现以及打印结果:

 
    ? 
   
 
     
       
       
         date2position  
         = 
         {} 
        
 
         datestr2dateint  
         = 
         {} 
        
 
         str2int  
         = 
         {} 
        
 
         for 
         i  
         in 
         range 
         ( 
         182 
         ): 
        
 
           
         date  
         = 
         datetime.date(day 
         = 
         1 
         , month 
         = 
         10 
         , year 
         = 
         2018 
         ) 
         + 
         datetime.timedelta(days 
         = 
         i) 
        
 
           
         #print(i,":",date) 
        
 
           
         date_int  
         = 
         int 
         (date.__str__().replace( 
         "-" 
         , "")) 
        
 
           
         date2position[date_int]  
         = 
         [i 
         % 
         7 
         , i 
         / 
         / 
         7 
         ] 
        
 
           
         datestr2dateint[ 
         str 
         (date_int)]  
         = 
         date_int 
        
 
         for 
         i  
         in 
         range 
         ( 
         24 
         ): 
        
 
           
         str2int[ 
         str 
         (i).zfill( 
         2 
         )]  
         = 
         i 
        
 
     
 
   

打印一下 date2position:

python文本数据处理学习笔记详解

打印一下 datestr2dateint:

python文本数据处理学习笔记详解

打印str2int:

python文本数据处理学习笔记详解

可以看出，datestr2dateint是将str的日期，转换为了int的日期。而date2position 才是计算出的每一个具体的日期，代表了第几周、第几天。 str2int代表了一天中的24个时刻.

3.2）读取文件，按行获取字符串。

注意到文本的分隔符为\t（区分用户名与到访信息的分割），于是采用。

 
    ? 
   
         f 
         = 
         open 
         ( 
         "d:\baidubigdata19-urfc-master\\urbanregionfunctionclassification-master\data\\train_visit\\000000_008.txt" 
         ) 
        
         #table = pd.read_csv(f, header=none,error_bad_lines=false) 
        
         table  
         = 
         pd.read_csv(f, header 
         = 
         none,sep 
         = 
         '\t' 
         )

然后用strings读取到访信息，也就是table的第二列:

3.3）切分字符串。

首先，strings为:

python文本数据处理学习笔记详解

可以看到每一行string,为一个用户的到访记录，循环读取。其中，不同日期的到访是用“，”隔开，故要使用:

 
    ? 
   
         for 
         string  
         in 
         strings: 
        
         temp  
         = 
         [] 
        
         for 
         item  
         in 
         string.split( 
         ',' 
         ):

item就可以分开每一个日期的到访记录了:

python文本数据处理学习笔记详解

其后，使用temp列表，每一行存储日期和时刻。如第一个item为 20181221&09|10|11|12|13|14|15 日期为 item[0:8], 时刻之间使用分隔符“|”隔开，故可以通过item[9:].split("|")得到.

 
    ? 
   
         temp.append([item[ 
         0 
         : 
         8 
         ], item[ 
         9 
         :].split( 
         "|" 
         )])

打印一下temp为:

python文本数据处理学习笔记详解

所以需要用两个数据分别存储日期，以及时刻。首先用来转换成周、天、时刻的72624矩阵（根据前面的转换函数）其后根据这个矩阵，统计每一个位置的访客数量。

 
    ? 
   
         for 
         date, visit_lst  
         in 
         temp: 
        
         # x - 第几周 
        
         # y - 第几天 
        
         # z - 几点钟 
        
         # value - 到访的总人数 
        
         # print(visit_lst) 
        
         #print(date) 
        
         x, y  
         = 
         date2position[datestr2dateint[date]] 
        
         for 
         visit  
         in 
         visit_lst:  
         # 统计到访的总人数 
        
         init[x][y][str2int[visit]]  
         + 
         = 
         1

这一段代码很短，但着实是整个时间离散化实现的精髓所在.

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我.

原文链接：https://blog.csdn.net/weixin_37659245/article/details/90410445 。

最后此篇关于python文本数据处理学习笔记详解的文章就讲到这里了,如果你想了解更多关于python文本数据处理学习笔记详解的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： Yii2框架中一些折磨人的坑

文章推荐： MySQL数据备份之mysqldump的使用方法

文章推荐： MySQL Innodb索引机制详细介绍

文章推荐： python3+PyQt5 实现Rich文本的行编辑方法

iOS:数据处理
解释我的应用程序基本上使用带有代表建筑物的多边形叠加层的 map View ，以及注释。为此，它导入了一个名为 Annotation 的自定义类，该类在点击注释时处理弹出详细信息，这意味着它存储建筑
r - 两组差异，数据处理
我有一个数据处理问题，我想计算两支球队在不同比赛中的进球数差异。数据如下所示: matchId teamId eventSec 1 2799331 6718 443.55984
Pandas 数据处理,数据清洗详解
如下所示： ? 1
ruby-on-rails - cocoa 数据处理
我想知道 cocoa 是否有默认的数据存储方式。如果是，那是什么？我的意思是 Rails 默认使用 sqlite... 此外，我正在寻找有关如何使用它的教程...例如获取数据并将其显示到 ListVi
java - 高效的 Websocket 数据处理
我正在使用 HTML5 创建在线游戏。我将使用 JSON 字符串通过 Websockets 通信数据，因此典型的字符串将包含被调用的操作以及随之而来的数据: {action: "chat", user
java - 带分组的 Spark 数据处理
我需要按特定列对一组 csv 行进行分组，并对每个组进行一些处理。 JavaRDD lines = sc.textFile ("somefile
c++ - 不使用堆内存的高速 CAN 数据处理
我有一个情况: 基本上有 3 个模块，分别命名为“A”、“B”、“C”。每个模块都涉及多线程。模块“A”获取高速数据(20ms)并发送。模块“B”的一个线程启动。模块“B”提取相关数据并执行一些位
php - MySQL 数据处理。如何从数据库获取斜杠后面的值
我正在处理有关城镇和城镇内区域的 MySQL 数据库中的一些数据。数据库看起来像这样 ID | NAME 1 | Manchester 2 | Manchester/North 3 | Man
ios - 注册问题上的 JSON 数据处理
当我注册用户时，我得到一个状态代码 200 和一个 token :“”返回 JSON。如果用户已经存在，那么我会得到状态代码 200 和 html 响应而不是 JSON。我应该如何处理这个问题。提前致
ios - 使用单个共享后台线程进行 iOS 数据处理？
我有一个应用程序，我从网络上下载大量资源，并对每个资源进行一些处理。我不希望这项工作发生在主线程上，但它非常轻量级且优先级较低，因此所有这些工作都可以真正发生在同一个共享工作线程上。这似乎是一件好事，
python - AWS Redshift 数据处理
我目前正在与一家小公司合作，该公司将其所有应用程序数据存储在 AWS Redshift 集群中。我的任务是对该 Redshift 集群中的数据进行一些数据处理和机器学习。我需要做的第一个任务是根据一
python接口自动化（十七）--Json 数据处理---一次爬坑记（详解）
简介有些 post 的请求参数是 json 格式的，这个前面发送post 请求里面提到过，需要导入 json模块处理。现在企业公司一般常见的接口因为json数据容易处理，所以绝大多数返回数据也是
第4章数据处理-php数组的处理-郑阿奇
1.数组的处理： 1.1 数组的创建和初始化： 1.arrary()函数创建数组，默认情况下0元素是数组的第一个元素， count()和sizeof()函数获得数
angularjs - 内联 CKEditor + AngularJS + 数据处理
我正在尝试将 CKEditor 与 AngularJS 结合使用，用于具有数据绑定(bind)的 WYSIWYG 编辑器，一切似乎都运行良好。极端的可配置性对我们的需求匹配有很大帮助。我们现在面临表
machine-learning - 数据处理 - 随机投影和子采样..执行所有这些操作的正确顺序是什么？
我正在对负样本和正样本进行文本二元分类任务，我想包括以下所有内容: 处理数据..(例如标记化) 特征选择，例如 Chi2 应用随机投影，因为我有一个大型稀疏矩阵(n_samples:974，n_fea
python - 我如何删除 Pandas 中的过滤器数据(数据处理)
数据与我在 Pandas 系列: data = ["1. stock1 (1991)", "3. stock13 (1993)", "5. stock19 (1999)", "89. stock
第4章数据处理-php字符串的处理-郑阿奇(续)
1.字符串的定义与显示定义:通过””,''来标志显示:echo()和print(),但print()具有返回值值，1，而echo()没有，但echo比print()要快，
第4章数据处理-php正则表达式-郑阿奇(续)
1.正则表达式基础知识含义：由普通字符和（a-z)和一些特殊字符组成的字符串模式功能：有效性验证。替换文本。从一个字符串提取一个子字符串。&n
amazon-web-services - CloudWatch 成本 - 数据处理
我想知道是否可以在我的 Cost Explorer 中发现这个成本背后的资源，按使用类型分组我可以看到它是数据处理字节，但我不知道哪个资源会消耗这个数量数据的。知道如何在 CloudWatch 上发现
jquery - SQL Server 中的 JSON 数据处理
我有一个 Json 字符串。我想从该 Json 字符串中获取值。这是我的 json 字符串{“纬度”:“22.5712854”}，{“经度”:“88.4266847”} 我只需要使用 TSQL 查询

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

python文本数据处理学习笔记详解