kdb q - 并行保存分区

Question

我有一个函数可以“检索”(在本例中只是创建)一个表并将其存储在一个新分区中

npertable:100000;
dbname:`:partdb;

newpart:{[date]
    firstofmonth:"d"$"m"$date;
    table:([]date:npertable?firstofmonth+til 25;acc:npertable?`C123`C132`C321`C121`C131;c:npertable?til 100);
    table:`date`acc xasc table;
    partname:`$(("/" sv (string dbname;string "m"$date;enlist "t")),enlist "/");
    partname set .Q.en[dbname;table];
 };

让我们假设在函数内部创建 table 需要“很长”的时间(例如，很多行)。现在，我不能在不同的线程上使用这个方法

newpart 桃子 2018.03.01 2018.04.01 2018.05.01

因为

ERROR: 'noupdate: `. `sym

这并不奇怪，因为它可能无法异步更新 sym 文件。

有没有办法在 kdb 中并行存储分区？

感谢帮助

Answer 1

另一种方法是重新逻辑化您的功能并将其分解为更小的步骤。我首先将枚举与磁盘设置分开——这样您就可以在主线程中枚举所有表的符号列，然后在线程中将枚举数据设置到磁盘。注意 - 这可能只有在您首先并行化磁盘 io 时才有用。

npertable:100000;
dbname:`:partdb;

createTab:{[datep]
    firstofmonth:"d"$"m"$datep;
    table:([]date:npertable?firstofmonth+til 25;acc:npertable?`C123`C132`C321`C121`C131;c:npertable?til 100);
    delete date from `date`acc xasc table
    };

createPath:{[datep]
    .Q.dd[dbname;(datep;`t;`)]
    };

enumTab:{[t]
    .Q.en[dbname;t]
    };

setInParallel:{[datep]
    enummedTabs:{enumTab createTab x} each datep;
    paths:createPath each datep;
    .[set;] peach flip (paths;enummedTabs)
    };

现在您可以针对日期列表运行 setInParallel

bash> q code.q -s 5
q)setInParallel .z.d-til 5
`:partdb/2018.04.25/t/`:partdb/2018.04.24/t/`:partdb/2018.04.23/t/`..

一些注意事项:

• 将表设置为日期分区时不需要日期列。您当然可以拥有它，但是当 q 映射到日期目录中时它会变成虚拟日期列，因此不需要它。因此我删除了创建时的日期列。

• .Q.dd 是一个非常有用的函数，用于创建路径(比构建字符串更容易)。请注意我是如何从根 hdb、日期参数、表名和前导 `(创建路径时表示前导/(即目录))创建路径

• createTab 函数是我从您的 newpart 函数中获取的。您将输入的日期转换为一个月，然后返回一个日期以获得该月的第一个日期。这可能是您正在寻找的内容，但只是让您知道您永远无法设置除本月第一天以外的日期，例如，即使您输入的参数是 2018.01.02。

喂，肖恩