- android - RelativeLayout 背景可绘制重叠内容
- android - 如何链接 cpufeatures lib 以获取 native android 库?
- java - OnItemClickListener 不起作用,但 OnLongItemClickListener 在自定义 ListView 中起作用
- java - Android 文件转字符串
我正在处理 pandas
数据帧。我的应用程序的目标是对 csv 文件执行某些分析,完成后,将此 csv 文件插入 oracle
数据库。
为了插入 oracle 数据库,我使用了 pandas
库的 to_sql
命令。但是要插入 300,000 行,我的代码大约需要 2 小时 10 分钟。然而,当我使用 MySQL
数据库进行相同的分析和相同大小的输入数据时,只用了 90 秒。
我在 lubuntu VM 中执行所有操作。作为引用,您可以在下面找到相关代码。
data_frame.to_sql(name='RSA_DATA', con=get_engine(), if_exists='append',
index=False, chunksize=config.CHUNK_SIZE)
input_data_list = get_rsa_object_list(data_frame)
我对这两种情况使用了相同的 CHUNK_SIZE
(设置为 500)。
有人可以建议这可能是什么原因吗?我该如何解决这个问题?我无法将我的数据库系统从 oracle
更改为任何其他数据库。我使用 MySQL
只是为了确保问题不在于我的代码。
提前致谢。
以下是 Oracle
数据库的 CREATE TABLE
命令:
CREATE TABLE "CRISDEV"."RSA_DATA"
( "GENE_SYMBOL" VARCHAR2(50 BYTE),
"GENEID" NUMBER,
"CRISPR" VARCHAR2(75 BYTE),
"RSASCORE" NUMBER,
"LOGP" NUMBER,
"BEST_ACTIVITY" NUMBER,
"RSA_HIT" NUMBER,
"HIT_PER_GENE" NUMBER,
"TOTAL_CRISPRS" NUMBER,
"RSA_RANK" NUMBER,
"SAMPLE_NAME" VARCHAR2(10 BYTE),
"FOLD_CHANGE" NUMBER,
"EXPERIMENT_NUM" NUMBER,
"CELL_LINE" VARCHAR2(75 BYTE),
"CRISPR_LIB" VARCHAR2(75 BYTE),
"CRISPR_LOT" VARCHAR2(25 BYTE),
"CAS9_VENDOR" VARCHAR2(50 BYTE),
"CAS9_LOT" VARCHAR2(25 BYTE),
"CRISPR_INFECT_DATE" DATE,
"CAS9_INFECT_DATE" DATE,
"CAS9_MOI" NUMBER,
"FTE" VARCHAR2(50 BYTE),
"SAMPLE_NAME_LONG" VARCHAR2(150 BYTE),
"INDICATION" VARCHAR2(100 BYTE),
"LOW_CRISPR_COUNT" NUMBER DEFAULT 0,
"MODIFICATION" VARCHAR2(20 BYTE),
"TIMEPOINT" VARCHAR2(10 BYTE)
) SEGMENT CREATION IMMEDIATE
PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255
NOCOMPRESS LOGGING
STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1
BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT)
TABLESPACE "CRISDEV_DATA" ;
CREATE INDEX "CRISDEV"."C20150312_RSA_CELLLINE" ON "CRISDEV"."RSA_DATA" ("CELL_LINE")
PCTFREE 10 INITRANS 2 MAXTRANS 255 COMPUTE STATISTICS
STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1
BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT)
TABLESPACE "CRISDEV_IDX" ;
CREATE INDEX "CRISDEV"."C20150312_RSA_CRISPRLIB" ON "CRISDEV"."RSA_DATA" ("CRISPR_LIB")
PCTFREE 10 INITRANS 2 MAXTRANS 255 COMPUTE STATISTICS
STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1
BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT)
TABLESPACE "CRISDEV_IDX" ;
CREATE INDEX "CRISDEV"."C20150312_RSA_GENEID" ON "CRISDEV"."RSA_DATA" ("GENEID")
PCTFREE 10 INITRANS 2 MAXTRANS 255 COMPUTE STATISTICS
STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1
BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT)
TABLESPACE "CRISDEV_IDX" ;
CREATE INDEX "CRISDEV"."C20150312_RSA_GENESYMBOL" ON "CRISDEV"."RSA_DATA" ("GENE_SYMBOL")
PCTFREE 10 INITRANS 2 MAXTRANS 255 COMPUTE STATISTICS
STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1
BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT)
TABLESPACE "CRISDEV_IDX" ;
CREATE INDEX "CRISDEV"."C20150312_RSA_SAMPLELONG" ON "CRISDEV"."RSA_DATA" ("SAMPLE_NAME_LONG")
PCTFREE 10 INITRANS 2 MAXTRANS 255 COMPUTE STATISTICS
STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1
BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT)
TABLESPACE "CRISDEV_IDX" ;
CREATE INDEX "CRISDEV"."C20150312_RSA_SAMPLENAME" ON "CRISDEV"."RSA_DATA" ("SAMPLE_NAME")
PCTFREE 10 INITRANS 2 MAXTRANS 255 COMPUTE STATISTICS
STORAGE(INITIAL 65536 NEXT 1048576 MINEXTENTS 1 MAXEXTENTS 2147483645
PCTINCREASE 0 FREELISTS 1 FREELIST GROUPS 1
BUFFER_POOL DEFAULT FLASH_CACHE DEFAULT CELL_FLASH_CACHE DEFAULT)
TABLESPACE "CRISDEV_IDX" ;
CREATE TABLE
MySQL
命令如下:
CREATE TABLE `RSA_DATA` (
`GENE_SYMBOL` varchar(50) DEFAULT NULL,
`GENEID` int(11) DEFAULT NULL,
`CRISPR` varchar(75) DEFAULT NULL,
`RSASCORE` float DEFAULT NULL,
`LOGP` float DEFAULT NULL,
`BEST_ACTIVITY` float DEFAULT NULL,
`RSA_HIT` int(11) DEFAULT NULL,
`HIT_PER_GENE` int(11) DEFAULT NULL,
`TOTAL_CRISPRS` int(11) DEFAULT NULL,
`RSA_RANK` int(11) DEFAULT NULL,
`SAMPLE_NAME` varchar(10) DEFAULT NULL,
`FOLD_CHANGE` int(11) DEFAULT NULL,
`EXPERIMENT_NUM` int(11) DEFAULT NULL,
`CELL_LINE` varchar(75) DEFAULT NULL,
`CRISPR_LIB` varchar(75) DEFAULT NULL,
`CRISPR_LOT` varchar(25) DEFAULT NULL,
`CAS9_VENDOR` varchar(50) DEFAULT NULL,
`CAS9_LOT` varchar(25) DEFAULT NULL,
`CRISPR_INFECT_DATE` date DEFAULT NULL,
`CAS9_INFECT_DATE` date DEFAULT NULL,
`CAS9_MOI` int(11) DEFAULT NULL,
`FTE` varchar(50) DEFAULT NULL,
`SAMPLE_NAME_LONG` varchar(150) DEFAULT NULL,
`INDICATION` varchar(100) DEFAULT NULL,
`LOW_CRISPR_COUNT` int(11) DEFAULT NULL,
`MODIFICATION` varchar(20) DEFAULT NULL,
`TIMEPOINT` varchar(10) DEFAULT NULL
);
最佳答案
对您的问题的几点评论:
chunksize
insert/*+APPEND*/into ...
关于mysql - 在 oracle 中插入 pandas dataframe 非常慢,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39578373/
自己试试看: import pandas as pd s=pd.Series(xrange(5000000)) %timeit s.loc[[0]] # You need pandas 0.15.1
我最近开始使用 Delphi 中的 DataSnap 来生成 RESTful Web 服务。在遵循 Marco Cantu 本人和互联网上其他几个人的指导后,我成功地使整个“链条”正常工作。 但是有一
我一直在为操作系统类(class)编写以下代码,但结果有些奇怪。该代码创建x线程并同时运行它们,以便将两个平方矩阵相乘。每个线程将输入矩阵的Number_of_rows/Number_of_threa
我正在尝试确定何时使用 parallel包以加快运行某些分析所需的时间。我需要做的一件事是创建矩阵,比较具有不同行数的两个数据框中的变量。我在 StackOverflow 上问了一个关于有效方法的问题
我最近对我的代码进行了一些清理,并在此过程中更改了此内容(不完全是真实的代码): read = act readSTRef test1 term i var = do t v^!terms.
我正在计时查询和同一个查询的执行时间,分页。 foreach (var x in productSource.OrderBy(p => p.AdminDisplayName) .Wher
我正在开发一个项目 (WPF),我有一个 Datagrid 从数据库加载超过 5000 条记录,所以我使用 BackgroundWorker 来通知用户数据正在加载,但它太慢了,我需要等待将近 2分钟
我在查询中添加 ORDER BY 时遇到问题。没有 ORDER BY 查询大约需要 26ms,一旦我添加 ORDER BY,它大约需要 20s。 我尝试了几种不同的方法,但似乎可以减少时间。 尝试 F
我是 Android 开发新手,遇到了性能问题。当我的 GridView 有太多项目时,它会变得有点慢。有什么方法可以让它运行得更快一些吗? 这是我使用的代码: 适配器: public class C
这里的要点是: 1.设置query_cache_type = 0;重置查询缓存; 2.在 heidisql(或任何其他客户端 UI)中运行任何查询 --> 执行,例如 45 毫秒 3.使用以下代码运行
想象下表: CREATE TABLE drops( id BIGSERIAL PRIMARY KEY, loc VARCHAR(5) NOT NULL, tag INT NOT
我的表 test_table 中的示例数据: date symbol value created_time 2010-01-09 symbol1
首先,如果已经有人问过这个问题,我深表歉意,至少我找不到任何东西。 无论如何,我将每 5 分钟运行一次 cron 任务。该脚本加载 79 个外部页面,而每个页面包含大约 200 个我需要在数据库中检查
我有下面的 SQL 代码,它来自 MySQL 数据库。现在它给了我期望的结果,但是查询很慢,我想我应该在进一步之前加快这个查询的速度。 表agentstatusinformation有: PKEY(主
我需要获取一个对象在 Core Data 中数千个其他对象之间的排名。现在,这是我的代码: - (void)rankMethod { //Fetch all objects NSFet
我正在编写一个应用程序,我需要在其中读取用户的地址簿并显示他所有联系人的列表。我正在测试的 iPhone 有大约 100 个联系人,加载联系人确实需要很多时间。 ABAddressBookRef ad
我正在使用 javascript 将 160 行添加到包含 10 列的表格中。如果我这样做: var cellText = document.createTextNode(value); cell.a
我是 Swift 的新手,我已经设置了一个 tableView,它从 JSON 提要中提取数据并将其加载到表中。 表格加载正常,但是当表格中有超过 10 个单元格时,它会变得缓慢且有些滞后,特别是它到
我在 InitializeCulture 和 Page_PreInit 事件之间的 asp.net 页面中遇到性能问题。当我重写 DeterminePostBackMode() 时,我发现问题出在 b
我在 Hetzner 上有一个带有 256GB RAM 6 个 CPU(12 个线程) 的专用服务器,它位于德国。我有 CENTOS 7.5。 EA4。 我的问题是 SSL。每天大约 2 小时,我们在
我是一名优秀的程序员,十分优秀!