python - SQLAlchemy 在 MySQL 上将什么列类型用于 "Text"？

Question

我的总体用例是试图确定我是否可以为一些大数据编写一个与数据库无关的存储(至少支持 Postgres 和 MySQL)作为原始文本(将 ~500MB 视为粗略的理论上限)。

基于 this answer关于MySQL的string/text类型，貌似只有LONGTEXT列类型可以满足我的要求。我正在使用 SQLAlchemy，它声称其 Text用于可变长度字符串的列类型，而且它通常映射到数据库的 CLOB 或 TEXT 类型。 MySQL 没有 CLOB 类型(虽然它有 BLOB)，而且它的 TEXT 类型不能满足我的需要。

那么，SQLAlchemy 在 MySQL 上为 Text 使用什么列类型？

Answer 1

看起来 SQLAlchemy 支持 LONGTEXT:

$ python
Python 2.7.13 (default, Sep 29 2017, 15:31:18) 
[GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.37)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> from sqlalchemy.dialects.mysql import LONGTEXT
>>> 

在此处查看如何使用特定于供应商的类型: http://docs.sqlalchemy.org/en/latest/core/type_basics.html#vendor-specific-types

就其值(value)而言，尝试开发一个完全品牌中立的数据库层是困难的，而且几乎不值得付出努力。几年前我在 Zend Framework 1.0 上工作，我试图为该框架支持的所有 SQL 数据库创建一个通用的单元测试套件。我发现在所有 SQL 实现中以相同方式支持的数据类型很少，尽管它们都声称支持 ANSI/ISO SQL 标准。

最终，您必须为数据层开发自己的类层次结构，并为每个特定于数据库的适配器实现略有不同的代码。

---

更新:我认为这个消息比我们想象的要好。我试过这个测试:

t2 = Table('t2', metadata,
      Column('id', Integer, primary_key=True),
      Column('t1', String(64000)),
      Column('t2', String(16000000)),
      Column('t3', String(4294000000)),
      Column('t4', Text)
     )

metadata.create_all(engine)

然后我检查它最终在 MySQL 数据库中创建了什么:

mysql> show create table t2;

CREATE TABLE `t2` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `t1` mediumtext,
  `t2` longtext,
  `t3` longtext,
  `t4` text,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4

因此它确实将 SQLAlchemy 的通用 String 数据类型映射到或多或少合适的 MySQL 数据类型。

它使用的数据类型比我们预期的要大，这对我来说并不奇怪。 MEDIUMTEXT 支持 16MB 的字节，而不是字符。因为我的默认字符集是多字节 utfmb4，MEDIUMTEXT 的最大长度实际上比 2^24 个字符少得多。因此它必须将其升级为 LONGTEXT。当然，LONGTEXT 也不适合 2^32 个字符，但 SQLAlchemy 似乎假设您无论如何都打算创建一个列。

我仍然认为很难编写完全与实现无关的代码。例如，如果您想使用一些 MySQL 功能，例如存储引擎的表选项，或没有通用等效项的特定数据类型(例如，ENUM)怎么办？