Python - 在 Flask 中将查询结果从服务器返回到客户端

Question

• 我有什么

  我在 Flask 中有一个客户端/服务器。客户端向服务器发送 JSON 格式的查询，服务器创建一个 JSON 文件。还有另一个工具接受这个查询，在数据库上执行它并将结果写入 results.txt 文件。服务器会定期检查“结果”目录中的 .txt 文件，如果发现新文件，则会提取结果。对于定期检查部分，我使用了 APS。

• 我想做什么现在我想将服务器从 .txt 文件中提取的数据 (queryResult) 发送回客户端。

这是我到目前为止所做的。

• 服务器代码:

app = Flask(__name__)
api = Api(app)

# Variable to store the result file count in the Tool directory
fileCount = 0

# Variable to store the query result generated by the Tool
queryResult = 0    
    
# Method to read .txt files generated by the Tool
def readFile():
    global fileCount
    global queryResult
    # Path where .txt files are created by the Tool
    path = "<path>"
    tempFileCount = len(fnmatch.filter(os.listdir(path), '*.txt'))
    if (fileCount != tempFileCount):
        fileCount = tempFileCount
        list_of_files = glob.iglob(path + '*.txt')
        latest_file = max(list_of_files, key=os.path.getctime)
        print("\nLast modified file: " + latest_file)
        with open(latest_file, "r") as myfile:
            queryResult = myfile.readlines()
            print(queryResult) # I would like to return this queryResult to the client
            
scheduler = BackgroundScheduler()
scheduler.add_job(func=readFile, trigger="interval", seconds=10)
scheduler.start()   

# Shut down the scheduler when exiting the app
atexit.register(lambda: scheduler.shutdown())   
   
# Method to write url parameters in JSON to a file
def write_file(response):
    time_stamp = str(time.strftime("%Y-%m-%d_%H-%M-%S"))  
    with open('data' + time_stamp + '.json', 'w') as outfile:
        json.dump(response, outfile)
    print("JSON File created!")
   

class GetParams(Resource):
    def get(self):
        response = json.loads(list(dict(request.args).keys())[0])  
        write_file(response)  
           
api.add_resource(GetParams, '/data')  # Route for GetJSON()

if __name__ == '__main__':
    app.run(port='5890', threaded=True)

• 客户端代码

data = {
    'query': 'SELECT * FROM table_name'
}

url = 'http://127.0.0.1:5890/data'

session = requests.Session()
retry = Retry(connect=3, backoff_factor=0.5)  
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

resp = session.get(url, params=json.dumps(data))
print(resp)

谁能帮我把查询结果发回给客户端？

编辑:我希望服务器每次在 Tool 目录中遇到新文件时将 queryResult 发送回客户端，即每次找到新文件时，它都会提取结果(当前正在执行)并将其发送回客户端。

Answer 1

你想要做的是一个Web Worker Architecture。

要将实时抽象 queryResult 从后台作业传递到客户端应用程序，您可以结合使用消息队列(推荐使用 Kafka，RabbitMQ 也可以)和 Web- socket 。当客户端向 /data 端点发送请求时，您应该返回一些唯一的 token (如果您的用户是匿名的，则返回 UUID，如果经过身份验证，则返回用户 ID)。您应该将相同的标记添加到结果文件的名称中。当您的后台工作人员完成文件处理后，它使用 token (来自文件名)创建 Kafka 或 RabbitMQ 主题，例如 topic_for_user_id_1337 或 topic_for_uuid_jqwfoj-123qwr，并发布 queryResult 作为消息。

与此同时，您的客户端应该建立一个网络套接字连接(Flask 对网络套接字来说非常糟糕，但是无论如何也没有什么好的库可以做到这一点，比如 socketio)并通过它传递 token 到您的后端所以它将创建一个消息队列订阅者，订阅一个带有 token 名称的主题，这样当后台作业完成时，网络后端将接收一条消息并通过网络套接字将其传递给用户。

附言如果听起来过于复杂，您可以避免使用 MQ 和 WS，将 queryResult 放入数据库并创建端点以检查它是否存在于数据库中。如果未准备就绪，您将返回类似尚未准备就绪 的内容，客户端会在几秒钟后重试，如果准备就绪 - 您将从数据库返回 queryResult。