python - 通过Kraken API获取BTC历史数据

Question

我正在尝试通过 krakenex API 从 kraken exchange 获取数据。但是我面临着几个问题，因为我想在比 API 允许的时间范围更大的时间范围内获取数据。API 只允许获取一个包含 720 行的数据框，因为我需要在获取更多数据时进行循环并在另一个数据框中进行连接。

我已经阅读了有关它的其他主题，但我仍然没有取得好的结果。

import krakenex
import time
import krakenex
import pandas as pd
from pykrakenapi import KrakenAPI
from datetime import datetime

k = krakenex.API()

start = '28/01/2021 00:00:00'
start = datetime.strptime(start, "%d/%m/%Y %H:%M:%S")
start = int(time.mktime(start.timetuple()))

stop = '03/02/2021 00:00:00'
stop = datetime.strptime(stop, "%d/%m/%Y %H:%M:%S")
stop = int(time.mktime(stop.timetuple()))


prices = pd.DataFrame()



while start < stop:
    
    time.sleep(5)
    data = k.query_public('OHLC', {'pair':'XXBTZUSD', 'interval':1, 'since':start})
    df = pd.DataFrame( data['result']['XXBTZUSD']) 
    daily_prices = df[0].to_list()
    start = int(daily_prices[0])
    prices = pd.concat([precos , df]) 

Answer 1

几个星期以来，我一直在研究一个完全可以做到这一点的脚本。在我的例子中，我收集了 BTC 和 ETH 的所有对，但您可以将脚本与任何对一起使用。为此，我使用了 REST API 并定义了一些可以自动执行所有操作的函数。我以 1 分钟的时间范围下载数据，但它可用于任何时间范围。

首先，我定义了一个函数，用于下载完整数据或从特定日期开始下载数据，这是必要的，因为在第一次运行时它将下载所有数据，然后仅下载新数据。参数“interval”定义了时间范围的分钟数，而“since”定义了要下载数据的开始时间。

def get_ohlc (pair, interval=1, since='last'):
    endpoint = 'https://api.kraken.com/0/public/OHLC'
    payLoad = {
        'pair':     pair,
        'interval': interval,
        'since' :   since
    }
    response = requests.get(endpoint, payLoad)
    data = response.json()
    OHLC = data['result'][pair]
    data = pd.DataFrame.from_records(OHLC, columns=['Time', 'Open', 'High', 'Low', 'Close', 'vwap', 'volume', 'count'])
    data['Time'] = pd.to_datetime(data['Time'], unit='s')
    data.set_index('Time',inplace=True)
    data = data.drop(['vwap', 'volume', 'count'], axis=1)
    data['Open']  = data.Open.astype(float)
    data['High']  = data.High.astype(float)
    data['Low']   = data.Low.astype(float)
    data['Close'] = data.Close.astype(float)
    return data

然后我定义了一个函数来加载保存到内存中的.json 文件。该函数返回包含旧数据的数据帧和指示从何处下载新数据的时间戳。我还创建了一个用于计算时间戳的函数。

def load_data(pair, path):
    data = pd.read_json(path + pair + '.json' , orient='split')
    tmp = data.tail(1).index                    
    tmp = tmp.strftime('%Y-%m-%d %H:%M:%S')     
    dt = str_to_datetime(tmp[0])                
    ts = dt.timestamp()                         
    return data, ts

def str_to_datetime(datestr):
    Y = int(datestr[0:4])
    M = int(datestr[5:7])
    D = int(datestr[8:10])
    H = int(datestr[11:13])
    m = int(datestr[14:16])

    return datetime.datetime(Y, M, D, H, m, 0, tzinfo=tz.gettz("Etc/GMT"))

现在你的 main 应该是这样的:

from countdown import countdown
import pandas as pd
import datetime
import os

path = os.getcwd() + '/historical_data/'
pair = 'XBTUSD'

while True:
    if os.path.exists(path + pair + '.json') == False:
        data = get_ohlc(pair, 1) # 1 minute timeframe
        data.to_json(path + pair + '.json', orient='split')
    else:
        data1, ts = load_data(pair, path)
        data2 = get_ohlc(pair, 1, ts)
        data3 = pd.concat([data1, data2])
        data3.drop(data3.tail(1).index,inplace=True) # delete last record because it's not ended
        data3.to_json(path + pair + '.json', orient='split')

    countdown(60) # update every hour

我删除了最后一条记录，因为你下载它的时候它还没有结束，所以我们会在下次更新时下载。我没有测试它是否有效，因为我从我的程序中提取了一些代码，如果它不起作用请告诉我，我会修复它。