python - Aerospike - Python 客户端 - NoSQL 基准测试

Question

我正在为客户执行 NoSQL 性能基准测试。我想知道我的 Aerospike Python 代码是否是最佳的？我正在尝试记录查询时间和加载时间。该数据有 500,000 行和 8 列。我的代码如下。

def test_db():

    config = {
      'hosts': [ ('127.0.0.1', 3000)  ]
    }

    client = aerospike.client(config).connect()

    t0 = time.time()
    global rec
    rec = {}
    with open('skunkworks.csv', 'r') as f:
        reader = csv.reader(f)
        rownum = 0
        for row in reader:
            # Save First Row with headers
            if rownum == 0:
                header = row
            else:
                colnum = 0
                for col in row:
                    rec[header[colnum]] = col
                    colnum += 1
            rownum += 1
            if rec:
                client.put(('test', 'demo', str(rownum)), rec)
            rec = {}

    t1 = time.time()
    load_time = t1 - t0

    t2 = time.time()
    for i in range(2,500002):
        (key, metadata, record) = client.get(('test', 'demo', str(i)))
        # print(record)
    t3 = time.time()

    read_time = t3 - t2


    return [load_time , read_time]

Answer 1

您的 Python 应用程序将作为单个进程运行，还是采用多进程方法(例如 fastCGI)？

如果您尝试进行基准测试，请确保它模拟您的应用程序的运行方式。要写入大量行，然后读取大量行，所有这些都来自单个进程，通常不会模拟任何实际情况。也许在您的情况下确实如此，但如果不是，请使您的示例代码与真实的访问模式匹配。

此外，您应该以与应用程序类似的方式部署基准测试。不要在与服务器节点相同的计算机上运行基准测试，如果这不是生产环境中的情况。