python - 有没有办法将Spark-Sql与sqlalchemy连接-6ren

python - 有没有办法将Spark-Sql与sqlalchemy连接

转载作者：行者123 更新时间：2023-12-03 16:25:44

26

4

有没有办法将Spark-Sql与sqlalchemy连接
我有使用sqlalchemy的旧代码
我怎样才能使它使用spark-sql，我可以使sqlalchemy作为spark-sql的翻译层吗？

最佳答案

是的，
看这个项目
https://github.com/dropbox/PyHive

您需要做一些调整，
幸运的是，为此构建了SQLAlchemy

关于python - 有没有办法将Spark-Sql与sqlalchemy连接，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43615745/

26

4

0

文章推荐： sqlite - 如何让 Superset 识别字符串是日期时间？

文章推荐： objective-c - 获取有关拥有事件窗口的应用程序的信息

文章推荐： cmake - 是否可以从 CMake 命令行更改 CMAKE_MODULE_PATH？

sqlalchemy - 如何在 SQLAlchemy 模型中使用 SQLAlchemy Utils
我正在尝试创建一个使用 UUID 作为主键的用户模型: from src.db import db # SQLAlchemy instance import sqlalchemy_utils impo
sqlalchemy - SQLAlchemy 中的别名联合
在 sqlalchemy 中，我试图合并表，然后使用 WHERE 和 ORDER_BY 创建别名有点像 SELECT * FROM ( SELECT [TABLE_ONE].[SOME_ID]
sqlalchemy - SQLAlchemy，如何向两个表中插入数据并引用外键？
我正在使用 SQL Alchemy(通过 Flask_sqlalchemy)将 Python 字典列表插入到 Postgres 数据库中。其中一个表是所有唯一项目的列表(表 1)，而第二个是与某个项
sqlalchemy - 关联代理 SQLAlchemy
This source详细说明如何使用关联代理创建具有 ORM 对象值的 View 和对象。但是，当我附加一个与数据库中现有对象匹配的值(并且所述值是唯一的或主键)时，它会创建一个冲突的对象，因此我
sqlalchemy - sqlalchemy core和ORM有什么区别？
SQLAlchemy Core和SQLAlchemy ORM的目的有什么区别？最佳答案顾名思义，ORM是一个对象关系映射器：其目的是将数据库关系表示为Python对象。核心是查询构建器。其目的是
sqlalchemy - SQLAlchemy:具有ForeignKey的列是否自动创建索引？
带有ForeignKey的Column是否自动创建索引？还是我需要手动添加index=True？ some_field = Column(Integer, ForeignKey(SomeModel.
sqlalchemy - 带动态数据库连接的flask-sqlalchemy
我有一个主数据库，每个客户自己的数据库连接存储在其中。因此，每个客户端都使用2个db:main和它自己的db，必须确定其连接对于每个http调用。我如何使用flask-sqlalchemy扩展名执
sqlalchemy - sqlalchemy:Base如何知道我已经定义了映射到它的类？
当我仅对类进行继承时，它才起作用 class User(Base): __tablename__ = ’users’ id = Column(Integer, primary_key=
sqlalchemy - SQLAlchemy 中的友好查询日志记录
从用户的角度来看，SQLAlchemy 的查询日志似乎有点过于冗长，有时甚至有点神秘: 2015-10-02 13:51:39,500 INFO sqlalchemy.engine.base.Engi
sqlalchemy - 如何使用 SQLAlchemy 多对多关系实例化 wtforms.ext.sqlalchemy.fields.QuerySelectMultipleField
我正在尝试使用 wtforms.ext.sqlalchemy QuerySelectMultipleField 显示复选框列表，但我无法在 GET 的表单上显示模型数据。这是我的models.py
sqlalchemy - 您如何编写一个返回 SQLAlchemy 作为中继连接的解析器？
我想为查询返回一个中继连接。使用标准的 graphene-sqlalchemy 你可以这样做: class Query(graphene.ObjectType): node = relay.N
sqlalchemy - Airflow + sqlalchemy 与元数据数据库的短暂连接
我在 centos 7.5 虚拟机上部署了最新的 Airflow ，并将 sql_alchemy_conn 和 result_backend 更新到 postgresql 实例上的 postgres
sqlalchemy - 批量插入 sqlalchemy 核心与冲突更新
我想将多个项目插入到一个表中，并在发生冲突时更新该表。这是我想出的以下内容 from sqlalchemy.dialects.postgresql import insert meta = MetaD
sqlalchemy - 如何急切地加载 SQLAlchemy 中的所有关系
我有以下模型: class Item(Base): a = relationship() b = relationship() c = relationship() d
sqlalchemy - 如何在airbnb数据可视化工具超集中添加presto SQLalchemy URI进行连接
我有 presto 和 superset 设置。 presto 运行良好，可以通过命令访问: ./app/hadoop/setjdk8.sh;bin/presto-cli --server http:
sqlalchemy - sqlalchemy 中的 tsvector
我一直在寻找一种在 sqlalchemy 中使用 tsvector 的方法(就像 INTEGER 等其他方法一样)，但到目前为止我还不清楚如何做到这一点。我读过可以使用 UserDefinedType
sqlalchemy - sqlalchemy 是否保留多对一/多对多关系中的顺序？
我正在使用 sqlalchemy(现在使用 sqlite，但稍后可能会改变)来构建一个数据库，其中插入的顺序和 rowids 很重要。我基本上有以下几点: class Message(Base):
sqlalchemy - 检查对象是否是 sqlalchemy 模型实例
给定一个对象，我想知道如何知道它是否是 sqlalchemy 映射模型的实例。通常，我会使用 isinstance(obj, DeclarativeBase)。但是，在这种情况下，我没有可用的 De
sqlalchemy - 如何从 sqlalchemy 查询中获取表名
我已经通读了查询文档，如果有办法从查询中获取表名，就看不到任何地方 - 例如如果我有 q = query(Users) ，我可以得到Users从 q 退出? 最佳答案请注意，像您这样的事件简单查询可
sqlalchemy - SQLAlchemy + Alembic:创建架构迁移
我不确定如何定义create schema foo迁移？我的模型如下所示（我正在使用Flask-Migrate）： class MyTable(db.Model): __tablename__

首页

博学

6Ren·AI

商城

python - 有没有办法将Spark-Sql与sqlalchemy连接