- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
CFSDN坚持开源创造价值,我们致力于搭建一个资源共享平台,让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章使用python将大量数据导出到Excel中的小技巧分享由作者收集整理,如果你对这篇文章有兴趣,记得点赞哟.
(1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢?
本文主要解决以上两个问题.
(2)具体步骤如下:
1.第一步,安装openpyxl.
使用pip install openpyxl即可,但是在windows下安装的是2.2.6版本,但是centos自动安装的是4.1版本,(多谢海哥的提醒).
写的代码在windows下运行没问题,但centos上却报错了,说是ew=ExcelWriter(workbook=wb)少提供一个参数,于是果断在 237服务器上我已安装2.2.6版本的,问题解决.
1
|
pip install openpyxl
=
=
2.2
.
6
|
2.第二步,哈哈,没有啦,废话不说了,直接上代码,ps,代码中包含xlwt和openpyxl的两个实现版本.
(3)扩展阅读:通过查阅资料,发现网上众说纷纭,总结起来有如下几点:
python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,另一组是openpyxl.
但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件,xlwt甚至不支持07版以后的excel ,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件.
因此面对需要导出大量数据到excel的情况,你将有如下三种选择, 。
(1) 换一种存储格式,如保存为CSV文件 。
(2) 使用openpyxl—,因为它支持对Excel 2007+ xlsx/xlsm format的处理 。
(3) win32 COM (Windows only) 。
当然,我们要直面困难了,为了更好地展示数据给产品和用户,我们依然选择的第二种.
ps,非常lucky,一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~ 。
(4) 闲话少说,直接上代码,敬请参考 。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
|
# coding:utf-8
'''
# 希望对大家有帮助哈,请多提问题
create by yaoyz
date: 2017/01/24
'''
import
xlrd
import
xlwt
# workbook相关
from
openpyxl.workbook
import
Workbook
# ExcelWriter,封装了很强大的excel写的功能
from
openpyxl.writer.excel
import
ExcelWriter
# 一个eggache的数字转为列字母的方法
from
openpyxl.utils
import
get_column_letter
from
openpyxl.reader.excel
import
load_workbook
class
HandleExcel():
'''Excel相关操作类'''
def
__init__(
self
):
self
. head_row_labels
=
[u
'学生ID'
,u
'学生姓名'
,u
'联系方式'
,u
'知识点ID'
,u
'知识点名称'
]
"""
function:
读出txt文件中的每一条记录,把它保存在list中
Param:
filename: 要读出的文件名
Return:
res_list: 返回的记录的list
"""
def
read_from_file(
self
,filename):
res_list
=
[]
file_obj
=
open
(filename,
"r"
)
for
line
in
file_obj.readlines():
res_list.append(line)
file_obj.close()
return
res_list
"""
function:
读出*.xlsx中的每一条记录,把它保存在data_dic中返回
Param:
excel_name: 要读出的文件名
Return:
data_dic: 返回的记录的dict
"""
def
read_excel_with_openpyxl(
self
, excel_name
=
"testexcel2007.xlsx"
):
# 读取excel2007文件
wb
=
load_workbook(filename
=
excel_name)
# 显示有多少张表
print
"Worksheet range(s):"
, wb.get_named_ranges()
print
"Worksheet name(s):"
, wb.get_sheet_names()
# 取第一张表
sheetnames
=
wb.get_sheet_names()
ws
=
wb.get_sheet_by_name(sheetnames[
0
])
# 显示表名,表行数,表列数
print
"Work Sheet Titile:"
,ws.title
print
"Work Sheet Rows:"
,ws.get_highest_row()
print
"Work Sheet Cols:"
,ws.get_highest_column()
# 获取读入的excel表格的有多少行,有多少列
row_num
=
ws.get_highest_row()
col_num
=
ws.get_highest_column()
print
"row_num: "
,row_num,
" col_num: "
,col_num
# 建立存储数据的字典
data_dic
=
{}
sign
=
1
# 把数据存到字典中
for
row
in
ws.rows:
temp_list
=
[]
# print "row",row
for
cell
in
row:
print
cell.value,
temp_list.append(cell.value)
print
""
data_dic[sign]
=
temp_list
sign
+
=
1
print
data_dic
return
data_dic
"""
function:
读出*.xlsx中的每一条记录,把它保存在data_dic中返回
Param:
records: 要保存的,一个包含每一条记录的list
save_excel_name: 保存为的文件名
head_row_stu_arrive_star:
Return:
data_dic: 返回的记录的dict
"""
def
write_to_excel_with_openpyxl(
self
,records,head_row,save_excel_name
=
"save.xlsx"
):
# 新建一个workbook
wb
=
Workbook()
# 新建一个excelWriter
ew
=
ExcelWriter(workbook
=
wb)
# 设置文件输出路径与名称
dest_filename
=
save_excel_name.decode(
'utf-8'
)
# 第一个sheet是ws
ws
=
wb.worksheets[
0
]
# 设置ws的名称
ws.title
=
"range names"
# 写第一行,标题行
for
h_x
in
range
(
1
,
len
(head_row)
+
1
):
h_col
=
get_column_letter(h_x)
#print h_col
ws.cell(
'%s%s'
%
(h_col,
1
)).value
=
'%s'
%
(head_row[h_x
-
1
])
# 写第二行及其以后的那些行
i
=
2
for
record
in
records:
record_list
=
str
(record).strip().split(
"\t"
)
for
x
in
range
(
1
,
len
(record_list)
+
1
):
col
=
get_column_letter(x)
ws.cell(
'%s%s'
%
(col, i)).value
=
'%s'
%
(record_list[x
-
1
].decode(
'utf-8'
))
i
+
=
1
# 写文件
ew.save(filename
=
dest_filename)
"""
function:
测试输出Excel内容
读出Excel文件
Param:
excel_name: 要读出的Excel文件名
Return:
无
"""
def
read_excel(
self
,excel_name):
workbook
=
xlrd.open_workbook(excel_name)
print
workbook.sheet_names()
# 获取所有sheet
print
workbook.sheet_names()
# [u'sheet1', u'sheet2']
sheet2_name
=
workbook.sheet_names()[
1
]
# 根据sheet索引或者名称获取sheet内容
sheet2
=
workbook.sheet_by_index(
1
)
# sheet索引从0开始
sheet2
=
workbook.sheet_by_name(
'Sheet1'
)
# sheet的名称,行数,列数
print
sheet2.name,sheet2.nrows,sheet2.ncols
# 获取整行和整列的值(数组)
rows
=
sheet2.row_values(
3
)
# 获取第四行内容
cols
=
sheet2.col_values(
2
)
# 获取第三列内容
print
rows
print
cols
# 获取单元格内容
print
sheet2.cell(
1
,
0
).value
print
sheet2.cell_value(
1
,
0
)
print
sheet2.row(
1
)[
0
].value
# 获取单元格内容的数据类型
print
sheet2.cell(
1
,
0
).ctype
# 通过名称获取
return
workbook.sheet_by_name(u
'Sheet1'
)
"""
function:
设置单元格样式
Param:
name: 字体名字
height: 字体高度
bold: 是否大写
Return:
style: 返回设置好的格式对象
"""
def
set_style(
self
,name,height,bold
=
False
):
style
=
xlwt.XFStyle()
# 初始化样式
font
=
xlwt.Font()
# 为样式创建字体
font.name
=
name
# 'Times New Roman'
font.bold
=
bold
font.color_index
=
4
font.height
=
height
borders
=
xlwt.Borders()
borders.left
=
6
borders.right
=
6
borders.top
=
6
borders.bottom
=
6
style.font
=
font
style.borders
=
borders
return
style
"""
function:
按照 设置单元格样式 把计算结果由txt转变为Excel存储
Param:
dataset:要保存的结果数据,list存储
Return:
将结果保存为 excel对象中
"""
def
write_to_excel(
self
, dataset,save_excel_name,head_row):
f
=
xlwt.Workbook()
# 创建工作簿
# 创建第一个sheet:
# sheet1
count
=
1
sheet1
=
f.add_sheet(u
'sheet1'
, cell_overwrite_ok
=
True
)
# 创建sheet
# 首行标题:
for
p
in
range
(
len
(head_row)):
sheet1.write(
0
,p,head_row[p],
self
.set_style(
'Times New Roman'
,
250
,
True
))
default
=
self
.set_style(
'Times New Roman'
,
200
,
False
)
# define style out the loop will work
for
line
in
dataset:
row_list
=
str
(line).strip(
"\n"
).split(
"\t"
)
for
pp
in
range
(
len
(
str
(line).strip(
"\n"
).split(
"\t"
))):
sheet1.write(count,pp,row_list[pp].decode(
'utf-8'
),default)
count
+
=
1
f.save(save_excel_name)
# 保存文件
def
run_main_save_to_excel_with_openpyxl(
self
):
print
"测试读写2007及以后的excel文件xlsx,以方便写入文件更多数据"
print
"1. 把txt文件读入到内存中,以list对象存储"
dataset_list
=
self
.read_from_file(
"test_excel.txt"
)
'''test use openpyxl to handle EXCEL 2007'''
print
"2. 把文件写入到Excel表格中"
head_row_label
=
self
.head_row_labels
save_name
=
"test_openpyxl.xlsx"
self
.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
print
"3. 执行完毕,由txt格式文件保存为Excel文件的任务"
def
run_main_save_to_excel_with_xlwt(
self
):
print
" 4. 把txt文件读入到内存中,以list对象存储"
dataset_list
=
self
.read_from_file(
"test_excel.txt"
)
'''test use xlwt to handle EXCEL 97-2003'''
print
" 5. 把文件写入到Excel表格中"
head_row_label
=
self
.head_row_labels
save_name
=
"test_xlwt.xls"
self
.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
print
"6. 执行完毕,由txt格式文件保存为Excel文件的任务"
if
__name__
=
=
'__main__'
:
print
"create handle Excel Object"
obj_handle_excel
=
HandleExcel()
# 分别使用openpyxl和xlwt将数据写入文件
obj_handle_excel.run_main_save_to_excel_with_openpyxl()
obj_handle_excel.run_main_save_to_excel_with_xlwt()
'''测试读出文件,注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件'''
#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
#obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
obj_handle_excel.read_excel(
"testexcel2003.xls"
)
obj_handle_excel.read_excel_with_openpyxl(
"testexcel2007.xlsx"
)
|
以上这篇使用python将大量数据导出到Excel中的小技巧分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持我.
原文链接:https://blog.csdn.net/helloxiaozhe/article/details/77849932 。
最后此篇关于使用python将大量数据导出到Excel中的小技巧分享的文章就讲到这里了,如果你想了解更多关于使用python将大量数据导出到Excel中的小技巧分享的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我在网上搜索但没有找到任何合适的文章解释如何使用 javascript 使用 WCF 服务,尤其是 WebScriptEndpoint。 任何人都可以对此给出任何指导吗? 谢谢 最佳答案 这是一篇关于
我正在编写一个将运行 Linux 命令的 C 程序,例如: cat/etc/passwd | grep 列表 |剪切-c 1-5 我没有任何结果 *这里 parent 等待第一个 child (chi
所以我正在尝试处理文件上传,然后将该文件作为二进制文件存储到数据库中。在我存储它之后,我尝试在给定的 URL 上提供文件。我似乎找不到适合这里的方法。我需要使用数据库,因为我使用 Google 应用引
我正在尝试制作一个宏,将下面的公式添加到单元格中,然后将其拖到整个列中并在 H 列中复制相同的公式 我想在 F 和 H 列中输入公式的数据 Range("F1").formula = "=IF(ISE
问题类似于this one ,但我想使用 OperatorPrecedenceParser 解析带有函数应用程序的表达式在 FParsec . 这是我的 AST: type Expression =
我想通过使用 sequelize 和 node.js 将这个查询更改为代码取决于在哪里 select COUNT(gender) as genderCount from customers where
我正在使用GNU bash,版本5.0.3(1)-发行版(x86_64-pc-linux-gnu),我想知道为什么简单的赋值语句会出现语法错误: #/bin/bash var1=/tmp
这里,为什么我的代码在 IE 中不起作用。我的代码适用于所有浏览器。没有问题。但是当我在 IE 上运行我的项目时,它发现错误。 而且我的 jquery 类和 insertadjacentHTMl 也不
我正在尝试更改标签的innerHTML。我无权访问该表单,因此无法编辑 HTML。标签具有的唯一标识符是“for”属性。 这是输入和标签的结构:
我有一个页面,我可以在其中返回用户帖子,可以使用一些 jquery 代码对这些帖子进行即时评论,在发布新评论后,我在帖子下插入新评论以及删除 按钮。问题是 Delete 按钮在新插入的元素上不起作用,
我有一个大约有 20 列的“管道分隔”文件。我只想使用 sha1sum 散列第一列,它是一个数字,如帐号,并按原样返回其余列。 使用 awk 或 sed 执行此操作的最佳方法是什么? Accounti
我需要将以下内容插入到我的表中...我的用户表有五列 id、用户名、密码、名称、条目。 (我还没有提交任何东西到条目中,我稍后会使用 php 来做)但由于某种原因我不断收到这个错误:#1054 - U
所以我试图有一个输入字段,我可以在其中输入任何字符,但然后将输入的值小写,删除任何非字母数字字符,留下“。”而不是空格。 例如,如果我输入: 地球的 70% 是水,-!*#$^^ & 30% 土地 输
我正在尝试做一些我认为非常简单的事情,但出于某种原因我没有得到想要的结果?我是 javascript 的新手,但对 java 有经验,所以我相信我没有使用某种正确的规则。 这是一个获取输入值、检查选择
我想使用 angularjs 从 mysql 数据库加载数据。 这就是应用程序的工作原理;用户登录,他们的用户名存储在 cookie 中。该用户名显示在主页上 我想获取这个值并通过 angularjs
我正在使用 autoLayout,我想在 UITableViewCell 上放置一个 UIlabel,它应该始终位于单元格的右侧和右侧的中心。 这就是我想要实现的目标 所以在这里你可以看到我正在谈论的
我需要与 MySql 等效的 elasticsearch 查询。我的 sql 查询: SELECT DISTINCT t.product_id AS id FROM tbl_sup_price t
我正在实现代码以使用 JSON。 func setup() { if let flickrURL = NSURL(string: "https://api.flickr.com/
我尝试使用for循环声明变量,然后测试cols和rols是否相同。如果是,它将运行递归函数。但是,我在 javascript 中执行 do 时遇到问题。有人可以帮忙吗? 现在,在比较 col.1 和
我举了一个我正在处理的问题的简短示例。 HTML代码: 1 2 3 CSS 代码: .BB a:hover{ color: #000; } .BB > li:after {
我是一名优秀的程序员,十分优秀!