mysql - Python中的ETL脚本将数据从另一个服务器.csv文件加载到mysql中

Question

我是一名业务分析师，对 Python 很陌生。在我的一个项目中，我想从 .csv 文件中提取数据并将该数据加载到我的 MySQL 数据库(暂存)中。谁能指导我使用示例代码和框架？

Answer 1

创建 sqllite 的简单程序。您可以读取 CSV 文件并使用dynamic_entry 插入到所需的目标表中。

import sqlite3
import time
import datetime
import random

conn = sqlite3.connect('test.db')
c = conn.cursor()

def create_table():
    c.execute('create table if not exists stuffToPlot(unix REAL, datestamp TEXT, keyword TEXT, value REAL)')

def data_entry():
    c.execute("INSERT INTO stuffToPlot VALUES(1452549219,'2016-01-11 13:53:39','Python',6)")
    conn.commit()
    c.close()
    conn.close()

def dynamic_data_entry():
    unix = time.time();
    date = str(datetime.datetime.fromtimestamp(unix).strftime('%Y-%m-%d %H:%M:%S'))
    keyword = 'python'
    value = random.randrange(0,10)
    c.execute("INSERT INTO stuffToPlot(unix,datestamp,keyword,value) values(?,?,?,?)",
              (unix,date,keyword,value))
    conn.commit()

def read_from_db():
    c.execute('select * from stuffToPlot')
    #data = c.fetchall()
    #print(data)

    for row in c.fetchall():
        print(row)

read_from_db()

c.close()
conn.close()

您可以迭代 CSV 中的数据并加载到 sqllite3 中。另请参阅以下链接。

• Quick easy way to migrate SQLite3 to MySQL?