python - 将实时数据发送到 Django 前端

Question

我一直在就这个话题提出一些问题，但我仍然没有得出结论，我仍然完全不确定我应该在这里采取什么方法，所以我决定提出一个包含所有细节的新问题，以便要尽可能具体。

问题 :我有一个外部 Python 脚本(我们将调用 数据收集器 )，它实时检索来自各种加密货币市场的交易并将它们打印到我的控制台；这个脚本在它的服务器和它的打印交易上启动并运行，它完美地工作。另一方面，我有一个 Django 应用程序。当用户在我的 Django 应用程序上打开一个页面时，他们应该收到特定市场的交易。示例:用户打开市场 ETHUSD > 用户需要实时接收来自数据收集器的 ETHUSD 交易。所以我需要找到一种方法来制作 数据采集​​器当页面打开时，将交易发送到我的 Django 应用程序。我不需要将该数据存储在数据库中，我只需要用户看到它，别无其他。

可能的方法

1) 存储在数据库中并轮询 我想将数据更新到数据库，然后从 Django 查询数据库。这是不可行的，因为正如我所说，数据收集器每秒都在从各个市场检索交易，因此会导致来自服务器和客户端的大量查询，而且我不想存储数据，所以我不能走这条路。

2) 推杆 Pusher 可能是最好的解决方案，但最终它对我来说太贵了。

3) Redis 发布/订阅 这是最有前途的一个:对于每个市场，数据收集器都创建了一个 Redis channel 。在我的 Django 应用程序中，当用户打开页面时，会创建到正确 channel 的连接并检索数据。示例:用户打开 ETHUSD 页面 -> 与 Redis channel “ETHUSD”的连接已建立，因此交易被接收。 问题:从 Django Channels Consumer 创建到 Redis channel 的连接会导致阻塞操作，因此不可能这样做。

4) 一个抽象的想法 这是我的一个想法，但我不知道它在代码方面是否可行以及如何可行。在数据收集器上，我会使用 websocket 库为每个市场创建一个“ channel ”或“房间”。然后从我的 Django 应用程序的前端，我将使用 Javascript 建立到该“ channel ”的连接。正如我所说，我不知道这是否可行以及如何做。

为了使其尽可能具体，我需要的是解决此问题的方法。我需要一种方法来解决这个问题，如果有的话，它可以在生产中起作用。如果需要，我愿意提供更多细节。由于这个问题困扰着我，任何形式的建议都非常感谢!

我的代码:

数据收集器.py

from binance.client import Client
import json
from binance.websockets import BinanceSocketManager

client = Client('', '')


# A list of the tickers, they are some hundreds
tickers = ['ETHBTC', 'BNBBTC', 'BATBTC', 'BTCUSDT' ....]

# This function is used to do something with the response,
# such as printing it 
def process_message(message):
    JSON1 = json.dumps(message)
    JSON2 = json.loads(JSON1)

    #define variables
    Rate = JSON2['p']
    Quantity = JSON2['q']
    Symbol = JSON2['s']
    Order = JSON2['m']

    print(Rate, Quantity, Order, Symbol)

bm = BinanceSocketManager(client)

# For every market, start the connection and stream the trades
for market in tickers:
    bm.start_trade_socket(market, process_message)

bm.start()

我的基本 Django channel 消费者

class EchoConsumer(SyncConsumer):

    def websocket_connect(self, event):
        self.send({
            'type': 'websocket.accept'
        })

        print('Connected')



    def websocket_receive(self, event):
        print('Received')

        self.send({
            'type': 'websocket.text',
            'text': event,
        })


    def websocket_disconnect(self, event):
        print('Disconnected')

我的前端 websocket 代码

<script>
  // websocket scripts
  var loc = window.location
  var wsStart = 'ws://' + window.location.host + window.location.pathname
  console.log(wsStart)
  var endpoint = wsStart + loc.host + loc.pathname
  var socket = new WebSocket(endpoint)

  if (loc.protocol == 'https:'){
    wsStart = 'wss://'
  }

  socket.onmessage = function(e){
    console.log("message", e)
  }

  socket.onopen = function(e){
    console.log("message", e)
  }

  socket.onerror = function(e){
    console.log("message", e)
  }

  socket.onclose = function(e){
    console.log("message", e)
  }
</script>

Answer 1

很高兴看到我们在设计这个架构问题时有类似的想法。但我迟到了。我想分享我的方法。
我刚刚开始构建我的个人项目。一种实时仪表板。
我们知道第一个和第二个选项不值得实现。我也考虑过第四种选择。既然客户端接收到类似的数据，为什么我们要对它们进行分组以加快加载速度。无论如何，这是实现实时数据传输后的下一步。
实际上选项 3(Redis 发布/订阅)对我有用。在我写的时候，我当前的项目得到了 5 秒的窗口来发送数据。我将每秒更新一次数据。
(与你的项目不同，我的前端是 Flutter。这应该不是问题。)