python - 在将大型数据集存储到数据库之前在 Python 中定义它们

Question

我正在编写一个大型数据集，稍后将使用 Python 以编程方式解析该数据集并将其添加到数据库(通过 SQLAlchemy 的 PostgresSQL 后端)。

那么，有 2 个问题:

1. 在将此类数据插入数据库之前，组合、定义和存储此类数据的最佳方法是什么？这是正确的做法吗？仍然需要有人编写这种类似 JSON 的结构，这很乏味，也许应该采取完全不同的方法。我愿意接受任何建议。
2. 这些数据结构往往非常大(每个对象 10k 行)。这就是为什么我尝试将每个对象放入单独的 Python 文件中，并稍后通过导入脚本导入它们。由于此数据被定义为具有特定名称的 const，我应该如何在事先不知道其名称的情况下将其导入到另一个模块中？我可以导入 *，但这并不能解决问题，因为我仍然需要知道 const 名称才能开始使用它。

感谢您的回答和建议。

Answer 1

最后，您可能希望展平表的数据结构，并将每个不同的配置转换为表中自己的行，如下所示:

Table Cars

  maker  model  generation  year  body_type  fuel_type  drivetrain_type  gearbox_type  aspiration_type  displacement  cylinders  power_rating  modification
citroen     C5           I  2000   liftback     petrol              FWD            AT               NA           3.0          6           207
citroen     C5           I  2000   liftback     petrol              FWD            MT               NA           3.0          6           207

使用另一个包含显示名称的表

Table Display_Names

      id         display_name
 citroen              Citroen
      C5                   C5
       I                    I
liftback             Liftback
  petrol               Petrol
     FWD    Front Wheel Drive
      AT            Automatic
      MT               Manual
      NA  Naturally Aspirated

或直接包含显示名称的表格。

因此，如果可能的话，您的 JSON 数据可能应该反射(reflect)这种结构。