python - 在 <= 1 MB RAM 和 <= 10 MB ROM 的设备上运行支持 vector 机内核是否可行？

Question

一些初步测试表明，我正在从事的项目可能会受益于使用支持 vector 机来解决棘手的问题。我担心的是会有主要的内存限制。原型(prototype)设计和测试是在 python 中使用 scikit-learn 完成的。最终版本将用 C 语言自定义编写。模型将经过预训练，只有决策函数会存储在最终产品中。将有 <= 10 个训练特征和 <= 5000 个训练数据点。我一直在阅读关于 SVM 内存的混合内容，我知道默认的 sklearn 内存缓存是 200 MB。 (比我现有的大得多)这可行吗？我知道有多种不同类型的 SVM 内核，内核也可以自定义编写。这可能适用于哪些内核类型(如果有)？

Answer 1

如果您的空间有限，您可能想要跳过 scikit 并自己简单地实现数学运算。这样，您就可以在自己选择的结构中循环访问数据。内存要求取决于您使用的 SVM 类别；两类线性 SVM 可以通过单次传递数据来完成，在累积乘积和时一次只考虑一个观察值，因此您的命令逻辑将占用比数据要求更多的空间。

如果您需要将整个数据集保存在内存中以进行多次传递，那么 float “仅”为 5000*10*8 字节，或者 1Mb 中的 400k，这可能足以做你的操作。还要考虑一个缓慢的训练过程，在每次通过时重新读取数据，因为这会以挂钟时间为代价将 400k 减少到微不足道的程度。

如果您查找可用的 SVM 实现并根据需要更改 I/O 部分，所有这些都在您的控制之下。

这有帮助吗？