python - 如何将几千列插入到sqlite3中？

Question

与我的上一个问题类似，但我遇到了问题，假设我有一个像下面这样的简单字典，但它很大，当我尝试使用下面的方法插入一个大字典时，我得到了 c.execute(schema) 的操作错误对于太多列，那么填充 sql 数据库列的替代方法应该是什么？使用 alter table 命令并单独添加每一个？

import sqlite3
con = sqlite3.connect('simple.db')
c = con.cursor()

dic = {
    'x1':{'y1':1.0,'y2':0.0},
    'x2':{'y1':0.0,'y2':2.0,'joe bla':1.5},
    'x3':{'y2':2.0,'y3 45 etc':1.5}
    }

# 1. Find the unique column names.
columns = set()
for _, cols in dic.items():
    for key, _ in cols.items():
       columns.add(key)

# 2. Create the schema.
col_defs = [
    # Start with the column for our key name
    '"row_name" VARCHAR(2) NOT NULL PRIMARY KEY'
    ]
for column in columns:
    col_defs.append('"%s" REAL NULL' % column)
schema = "CREATE TABLE simple (%s);" % ",".join(col_defs)
c.execute(schema)

# 3. Loop through each row
for row_name, cols in dic.items():

    # Compile the data we have for this row.
    col_names = cols.keys()
    col_values = [str(val) for val in cols.values()]

    # Insert it.
    sql = 'INSERT INTO simple ("row_name", "%s") VALUES ("%s", "%s");' % (
        '","'.join(col_names),
        row_name,
        '","'.join(col_values)
        )

Answer 1

如果我没理解错的话，您不是要插入数千行，而是要插入数千列。 SQLite has a limit on the number of columns per table (默认为 2000)，但如果您重新编译 SQLite，则可以对此进行调整。从来没有这样做过，我不知道您是否需要调整 Python 界面，但我怀疑不需要。

您可能想重新考虑您的设计。任何非数据仓库/OLAP 应用程序都不太可能需要数以千计的列(行，是的)或者非常高效，SQLite 不是数据的良好解决方案仓库/OLAP 类型的情况。你可能会得到一些像 entity-attribute-value setup 这样的东西(不是对真正的关系数据库的正常建议，而是有效的应用程序数据模型，并且更有可能满足您的需求，而不会将 SQLite 的限制推得太远)。