gpt4 book ai didi

python - 存储时间戳的最佳方式

转载 作者:行者123 更新时间:2023-11-29 06:29:10 25 4
gpt4 key购买 nike

我有以下时间戳值:Wed Jun 25 09:18:15 +0000 2014

我正在用 Python 编写一个 MapReduce 程序,该程序从 Amazon S3 位置读取 JSON 对象并将其导出到本地 CSV 文件。 CSV 文件随后会将数据导出到 MySQL 和 HBase 数据库。我有大约 2 亿条记录 (1 TB),因此我需要优化每个处理步骤。

我应该使用什么数据类型在 Python、CSV、MySQL 和 HBase 数据库中存储时间戳值?我需要存储 TimeStamp 值的所有方面。我的架构在 CSV 文件、MySQL 和 HBase 数据库表中有 4 列。

谢谢!

最佳答案

使用 long 来表示时间(毫秒),这样您就不用担心日期格式/字符串编码。它节省空间并且更容易执行范围查询。

关于python - 存储时间戳的最佳方式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28961577/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com