- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我是数据科学的初学者,我最近的工作是使用 python 从公司数据库中选择符合某些条件的数据。我尝试通过使用 sqlalchemy 和引擎来实现此目的,但是获取我需要的所有行需要很长时间。我不知道我能做些什么来减少它的执行时间。例如,我使用以下代码根据数据库中的store_id获取商店在一段时间内的总订单数:
import pandas as pd
from sqlalchemy import create_engine, MetaData, select, Table, func, and_, or_, cast, Float
import pymysql
#create engine and connect it to the database
engine = create_engine('mysql+pymysql://root:*******@127.0.0.1:3306/db')
order = Table('order', metadata, autoload=True, autoload_with=engine)
#use the store_id to get all the data in two months from the table
def order_df_func(store_id):
df = pd.DataFrame()
stmt = select([order.columns.gmt_create, order.columns.delete_status, order.columns.payment_time])
stmt = stmt.where(
and_(order.columns.store_id == store_id,
order.columns.gmt_create <= datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S'),
order.columns.gmt_create >= get_day_zero(last_month_start.date()) #func defined to get 00:00 for a day
)
)
results = connection.execute(stmt).fetchall()
df = pd.DataFrame(results)
df.columns = results[0].keys()
return df
#get the data in a specific time period
def time_bounded_order_df(store_id, date_required_type, time_period):
order_df = order_df_func(store_id)
get_date(date_required_type)# func defined to get the start time and end time, e.g. this week or this month
if time_period == 't':
order_df = order_df[(order_df['gmt_create'].astype(str) >= start_time) & (order_df['gmt_create'].astype(str) <= end_time)]
elif time_period == 'l':
order_df = order_df[(order_df['gmt_create'].astype(str) >= last_period_start_time) & (order_df['gmt_create'].astype(str) <= last_period_end_time)]
return order_df
#get the number or orders
def num_of_orders(df):
return len(df.index)
40万条结果大约需要8s,时间太长了。我是否可以调整我的代码以使其更短?
更新
我尝试直接在mysql工作台中选择数据,大约需要0.02s才能得到1000条结果。我相信这个问题来自下面的代码
results = connection.execute(stmt).fetchall()
但我不知道我可以将数据存储到 pd.dataframe 中。有什么想法吗?
更新2
我刚刚了解到表中有一种称为“索引”的东西可以减少处理时间。我的数据库是公司给的,我无法编辑。我不确定这是否是数据库中表的问题,或者我仍然需要做一些事情来修复我的代码。有没有办法可以在我的代码中“使用”索引?还是应该给?或者我可以通过python创建索引吗?
更新3
我发现当我选择多个列时,我的数据库停止使用索引,这显着增加了处理时间。我相信这是一个 mysql 问题而不是 python 问题。我仍在寻找如何解决这个问题,因为我几乎不了解 sql。
更新4
我将 mysql 服务器版本从 8.0 降级到 5.7,表中的索引开始工作。但python处理起来还是需要很长的时间。我会继续努力找出我能为此做些什么。
最佳答案
我发现如果我使用
results = connection.execute(stmt).fetchall()
df = pd.DataFrame(results)
df.columns = results[0].keys()
然后你将数据库中的所有数据重新保存到python中,由于我没有为python创建索引,所以重新保存时间和搜索时间都很长。然而,就我而言,我不需要在 python 中重新保存数据,我只需要几个变量的总数。因此,我没有选择几列,而是使用
stmt = select([func.count(yc_order.columns.id)])
#where something something
results = connection.execute(stmt).scalar()
return results
它的运行速度和mysql内部一样快,问题就解决了
附注我还需要一些变量来计算每小时的总订单数。我决定在数据库中创建一个新表,并使用计划模块每小时运行脚本并将数据插入新表中。
关于python - 如何减少 sqlalchemy 用于连接数据库和选择数据的时间,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/58831159/
我是 Bison 解析的新手,我无法理解它是如何工作的。我有以下语法,其中我保留了最低限度的语法来突出问题。 %left '~' %left '+' %token T_VARIABLE %% star
我链接了 2 个映射器和 1 个缩减器。是否可以将中间输出(链中每个映射器的 o/p)写入 HDFS?我尝试为每个设置 OutputPath,但它似乎不起作用。现在,我不确定是否可以完成。有什么建议吗
我正在编写一些代码来管理自定义磁盘文件结构并将其同步到未连接的系统。我的要求之一是能够在实际生成同步内容之前估计同步的大小。作为一个简单的解决方案,我整理了一个包含完整路径文件名的 map ,作为高效
我来自一个 SQL 世界,其中查找由多个对象属性(published = TRUE 或 user_id = X)完成,并且有 任何地方都没有加入 (因为 1:1 缓存层)。文档数据库似乎很适合我的数据
在 R 中,我有一个整数向量。从这个向量中,我想随机减少每个整数元素的值,以获得向量的总和,即初始总和的百分比。 在这个例子中,我想将向量“x”减少到向量“y”,其中每个元素都被随机减少以获得等于初始
我发现自己遇到过几次我有一个 reducer /组合 fn 的情况,如下所示: def combiner(a: String, b: String): Either[String, String]
Ubuntu 12.04 nginx 1.2.4 avconv版本 avconv version 0.8.10-4:0.8.10-0ubuntu0.12.04.1, Copyright (c) 200
我是 R 编程语言的新手。我有一个包含 2 列(ID 和 Num)的数据集,如下所示: ID Num 3 8 3 12 4 15 4 18 4
我正在使用高阶函数将函数应用于向量中的每个元素并将结果作为标量值返回。 假设我有: v = c(0, 1, 2, 3, 4, 5, 6, 7, 8) 我想计算以左边 5 个整数为中心的所有这些整数的总
关闭。这个问题需要debugging details .它目前不接受答案。 编辑问题以包含 desired behavior, a specific problem or error, and th
这个问题在这里已经有了答案: How to write the dataframes in a list to a single csv file (2 个回答) 5年前关闭。 我正在尝试使用 Red
刚开始学习CUDA编程,对归约有些迷茫。 我知道与共享内存相比,全局内存有很多访问延迟,但我可以使用全局内存来(至少)模拟类似于共享内存的行为吗? 例如,我想对长度恰好为 BLOCK_SIZE * T
我经常使用OptiPNG或pngcrush减小PNG图像的文件大小。 我希望能够从.NET应用程序中以编程方式执行此类操作。我正在动态生成要发送到移动设备的PNG,因此我想减小文件大小。 图像质量很重
减少和减少让您在序列上累积状态。 序列中的每个元素都会修改累积的状态,直到 到达序列的末尾。 在无限列表上调用reduce 或reductions 有什么含义? (def c (cycle [0]))
这与R: use the newly generated data in the previous row有关 我意识到我面临的实际问题比我在上面的线程中给出的示例要复杂一些 - 似乎我必须将 3 个
有什么办法可以减少.ttf字体的大小?即如果我们要删除一些我们不使用的glyps。 最佳答案 使用Google Web Fonts,您可以限制字符集,例如: //fonts.googleapis.co
我需要在iOS中制作一个应用程序,在她的工作过程中发出类似“哔”的声音。 我已经使用MPMusicPlayerController实现了与背景ipod的交互。 问题: 由于来自ipod的音乐音量很大,
我有一个嵌套 map m,如下所示: m = Map("电子邮件"-> "a@b.com", "背景"-> Map("语言"-> "英语")) 我有一个数组arr = Array("backgroun
有什么原因为什么不应该转发map / reduce函数中收到的可写内容? 我的意思是-每个map / reduce函数都有一个可写的键/值,并可能发出一个键/值对。如果我想执行一些过滤,我应该只发出接
假设我有一个数据列表 val data = listOf("F 1", "D 2", "U 1", "D 3", "F 10") 我想执行每个元素的给定逻辑。 我必须在外部添加 var acc2 =
我是一名优秀的程序员,十分优秀!