gpt4 book ai didi

python - sqlPython : How to sort database before opening?

转载 作者:行者123 更新时间:2023-11-29 12:07:41 27 4
gpt4 key购买 nike

import sys
from twisted.enterprise import adbapi
from scrapy.utils.project import get_project_settings
import hashlib
from scrapy import log
import MySQLdb
from scrapy.exceptions import DropItem
from scrapy.http import Request

settings = get_project_settings()


class ZillowSamplePipeline(object):

def __init__(self):
dbargs = settings.get('DB_CONNECT')
db_server = settings.get('DB_SERVER')
dbpool = adbapi.ConnectionPool(db_server, **dbargs)
self.dbpool = dbpool

def __del__(self):
self.dbpool.close()

def process_item(self, item, spider):
query = self.dbpool.runInteraction(self._conditional_insert, item)
query.addErrback(self.handle_error)
return item

def _conditional_insert(self, tx, item):
#doesnt allow duplicates.
tx.execute("select * from test where date = %s and title =%s", (item['date'], item['title'] ))
result = tx.fetchone()
if result:
log.msg("Item already stored in db: %s" % item, level=log.DEBUG)
else:
#insert data
tx.execute(\
"insert into test (title, number, date) "
"values (%s, %s, %s)",
(item['title'],
item['number'],
item['date']))
log.msg("Item stored in db: %s" % item, level=log.DEBUG)
#re-organize data
tx.execute("SELECT * FROM test ORDER BY title")


def handle_error(self, e):
log.err(e)

这是我的 scrapy 项目抓取数据并上传到 mysql 数据库的管道。我能够抓取所有数据并将其上传到数据库。我唯一的问题是在执行此代码后,我能够获取数据库上的所有内容,但我无法看到数据库已整理完毕。我正在通过这一行 tx.execute("SELECT * FROM test ORDER BY title") 执行此操作。所以我想按标题对表格进行排序,这样我就可以看到彼此下方有相同的标题,并以日期分隔。而不是在同一日期抓取不同数量的数据。当我在 MYSQL 中执行上面的查询时,它会显示我想要显示的数据,但是当我执行代码并打开 SQL 时,我看不到数据库已经根据标题排序。我希望数据库按标题排序,因此无论我运行代码多少次,它仍然根据标题对所有信息进行排序。

最佳答案

在您的代码中,Select 语句将获取按标题排序的数据,该数据按预期工作。它实际上并没有对数据库的内部进行重新排序。因此,每当您需要获取按标题排序的数据时,您的查询中必须有 ORDER BY title。通过将函数应用于数据库,无法保证行返回的顺序,并且所有 future 的查询都将按该顺序返回。

关于python - sqlPython : How to sort database before opening?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31197685/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com