解决一个pandas执行模糊查询sql的坑-6ren

解决一个pandas执行模糊查询sql的坑

转载作者：qq735679552 更新时间：2022-09-29 22:32:09

CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章解决一个pandas执行模糊查询sql的坑由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

查询引擎使用了presto，在sql中使用了模糊查询.

 
    ? 
   
         engine = create_engine(presto_url,encoding= 
         'utf-8' 
         ) 
        
         sql_exe = 
         "" 
         "select id,title,tags from source.base.table where tags like '%呵呵%' " 
         "" 
        
         df = pd.read_sql_query(sql_exe,engine)

一直报错:

unsupported format character 。

解决方案

第一:

 
    ? 
   
         sql_exe = 
         "" 
         "select id,title,tags from source.base.table where tags like '%%呵呵%%' " 
         ""

第二:

 
    ? 
   
         sql_exe = 
         "" 
         "select id,title,tags from source.base.table where tags like %s " 
         "" 
        
         df = pd.read_sql_query(sql_exe,engine,params=( 
         "%呵呵%" 
         ,))

补充：pd.read_sql()知道这些就够用了。

如下:

 
    ? 
   
         pandas.read_sql(sql, con, index_col=None, coerce_float= 
         True 
         , params=None, parse_dates=None, columns=None, chunksize=None)

各参数意义

sql：SQL命令字符串。

con：连接sql数据库的engine，一般可以用SQLalchemy或者pymysql之类的包建立。

index_col：选择某一列作为index 。

coerce_float：非常有用，将数字形式的字符串直接以float型读入。

parse_dates：将某一列日期型字符串转换为datetime型数据，与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换，也可以用字典的格式提供列名和转换的日期格式，比如{column_name: format string}（format string："%Y:%m:%H:%M:%S"）.

columns：要选取的列。一般没啥用，因为在sql命令里面一般就指定要选择的列了。

chunksize：如果提供了一个整数值，那么就会返回一个generator，每次输出的行数就是提供的值的大小.

设置参数can–>创建数据库链接的两种方式

用sqlalchemy构建数据库链接。

 
    ? 
   
         import 
         pandas as pd 
        
         import 
         sqlalchemy 
        
         from 
         sqlalchemy  
         import 
         create_engine 
        
         # 用sqlalchemy构建数据库链接engine 
        
         connect_info  
         = 
         'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8' 
        
         engine  
         = 
         create_engine(connect_info) 
        
         # sql 命令 
        
         sql_cmd  
         = 
         "SELECT * FROM table" 
        
         df  
         = 
         pd.read_sql(sql 
         = 
         sql_cmd, con 
         = 
         engine)

用DBAPI构建数据库链接。

 
    ? 
   
         import 
         pandas as pd 
        
         import 
         pymysql 
        
         # sql 命令 
        
         sql_cmd  
         = 
         "SELECT * FROM table" 
        
         # 用DBAPI构建数据库链接engine 
        
         con  
         = 
         pymysql.connect(host 
         = 
         localhost, user 
         = 
         username, password 
         = 
         password, database 
         = 
         dbname, charset 
         = 
         'utf8' 
         , use_unicode 
         = 
         True 
         ) 
        
         df  
         = 
         pd.read_sql(sql_cmd, con)

read_sql与read_sql_table、read_sql_query

read_sql本质上是read_sql_table、read_sql_query的统一方式.

三者都return返回DataFrame.

1、read_sql_table 。

Read SQL database table into a DataFrame. 。

2、read_sql_query 。

Read SQL query into a DataFrame. 。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我。如有错误或未考虑完全的地方，望不吝赐教.

原文链接：https://blog.csdn.net/onwingsofsong/article/details/84844356 。

最后此篇关于解决一个pandas执行模糊查询sql的坑的文章就讲到这里了,如果你想了解更多关于解决一个pandas执行模糊查询sql的坑的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！。

文章推荐： python pandas模糊匹配读取Excel后获取指定指标的操作

文章推荐： Python中使用pypdf2合并、分割、加密pdf文件的代码详解

文章推荐： python中判断集合范围的方法小结

文章推荐： python+selenium实现简历自动刷新的示例代码

解决@Cacheable在同一个类中方法调用不起作用的问题
@Cacheable在同一类中方法调用无效上述图片中，同一个类中genLiveBullets()方法调用同类中的queryLiveByRoom()方法，这样即便标识了Cacheable标签，
解决@Transaction注解导致动态切换更改数据库失效问题
目录 @Transaction注解导致动态切换更改数据库失效使用场景遇到问题解决 @Transaction
解决@RequestBody使用不能class类型匹配的问题
@RequestBody不能class类型匹配在首次第一次尝试使用@RequestBody注解开始加载字符串使用post提交（貌似只能post），加Json数据格式传输的时候，
解决@Autowired注入static接口的问题
目录 @Autowired注入static接口问题 @Autowired自动注入普通service很方便但是如果注入static修饰的serv
解决@RequestBody部分属性丢失的问题
目录 @RequestBody部分属性丢失问题描述 JavaBean实现 Controller实现
解决@PathVariable参数接收不完整的问题
目录解决@PathVariable参数接收不完整的问题今天遇到的问题是：解决办法： @PathVariable接受的参
解决@Transactional注解事务不回滚不起作用的问题
这几天在项目里面发现我使用@Transactional注解事务之后，抛了异常居然不回滚。后来终于找到了原因。如果你也出现了这种情况，可以从下面开始排查。 1、特性先来了解一下@Trans
解决@PathVariable对于特殊字符截断的问题
概述： ? 1
解决@Around对静态方法不生效的问题
场景：在处理定时任务时，由于这几个方法都是静态方法，在aop的切面中使用@Around注解，进行监控方法调用是否有异常。发现aop没有生效。代码如下：
解决.net项目中上传的图片或者文件太大无法上传问题
最近做项目的时候用户提出要上传大图片一张图片有可能十几兆本来用的第三方的上传控件有限制图片上传大小的设置以前设置的是2M&nb
azure - 解决 SystemForCrossDomainIdentityManagementBadResponse
我已经实现了这个SCIM reference code在我们的应用程序中。我实现的代码确实通过了此postman link中存在的所有用户测试集合。。我的 SCIM Api 也被 Azure 接受
javascript - 等待 ".then"解决
我一直对“然后”不被等待的行为感到困扰，我明白其原因。然而，我仍然需要绕过它。这是我的用例。 doWork(family) { return doWork1(family)
javascript - 解决 promise
我正在尝试查找 channel 中的消息是否仍然存在，但是，我不确定如何解决 promise ，查看其他答案和文档，我可以看到它可能是通过函数实现的，但我是不完全确定如何去做。我希望能在这方面获得一些
java - 解决 IllegalAccessError
我有以下情况: 同一工作区中的 2 个 Eclipse 项目:Apa 和 Bepa(为简洁起见，使用化名)。 Apa 项目引用(包括)Bepa 项目。我在 Bepa 有一个类 X，具有公共(publ
java - 解决 NoClassDefFoundError
这个问题已经有答案了: Why am I getting a NoClassDefFoundError in Java? (31 个回答) 已关闭 6 年前。我正在努力学习 spring。所以我输入
java - 解决 ConcurrentModificationException
我正在写一个小游戏，屏幕上有许多圆圈在移动。我在两个线程中管理圈子，如下所示: public void run() { int stepCount = 0; int dx;
python - 解决()执行中止
我在使用 Sympy 求解方程时遇到问题。当我运行代码时，例如: 打印(校正(10)) 我希望它打印一个数字 f。相反，它给我错误:执行中止。 def correction(r): from
css - div布局问题。解决
好吧，我制作的每个页面都有这个问题。我不确定我做错了什么，但我所有的页面都不适用于所有分辨率。可能是因为我使用的是宽屏？大声笑我不确定，但在小于宽屏分辨率的情况下，它永远不会看起来正确。它的某些部分你
c# - 解决 ||检查字符串时的运算符
我正在尝试像这样进行一个非常简单的文化 srting 检查 if(culture.ToUpper() == "ES-ES" || "IT-IT") { //do something } else
linux - 解决.bashrc的最佳方法是什么？
Closed. This question is off-topic. It is not currently accepting answers. Learn more。想改进这个问题吗？Upda

qq735679552

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城