- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我试图确定随着输入集大小的增长,VowpalWabbit 的“状态”是如何维持的。在典型的机器学习环境中,如果我有 1000 个输入向量,我希望立即发送所有这些向量,等待模型构建阶段完成,然后使用该模型创建新的预测。
在大众汽车中,算法的“在线”性质似乎使这种范式变得更加高效并且能够实时调整。
这种实时模型修改是如何实现的?
随着时间的推移,大众汽车是否会根据总输入数据大小占用越来越多的资源?也就是说,当我向 VW 模型添加更多数据时(当它很小时),一旦特征向量输入的累积数量增加到 1000、10000 或数百万,实时调整计算是否开始花费更长的时间?
最佳答案
只是为了补充 carlosdc 的好答案。
一些使 vowpal wabbit 与众不同并允许其扩展到万亿级 (1012) 数据大小的功能是:
在线权重向量:Vowpal Wabbit 在内存中保留 weight-vector它本质上是它正在构建的模型的权重向量。这就是您在问题中所说的“国家”。
无限数据大小:权重向量的大小与特征(独立输入变量)的数量成正比,而不是与示例(实例)的数量成正比。与许多其他(非在线)学习者不同,这就是 vowpal wabbit 能够在空间中扩展的原因。由于它不需要像典型的批处理学习器那样将所有数据加载到内存中,因此它仍然可以从太大而无法放入内存的数据集中学习。
集群模式:vowpal wabbit支持在集群中的多个主机上运行,在节点上强加二叉 TreeMap 结构并使用从叶到根的all-reduce
缩减。
哈希技巧:vowpal wabbit 采用所谓的 hashing trick 。所有功能名称都使用 murmurhash-32
哈希为整数。这有几个优点:它非常简单且省时,无需处理哈希表管理和冲突,同时允许功能偶尔发生冲突。事实证明(在实践中),具有数千个不同特征的训练集中的少量特征冲突类似于添加隐式正则化项。与直觉相反,这通常会提高而不是降低模型的准确性。它也与特征空间的稀疏性(或密度)无关。最后,它允许输入特征名称是任意字符串,这与大多数传统学习器不同,传统学习器要求特征名称/ID 既是 a) 数字,又是 b) 唯一。
并行性:vowpal wabbit 通过在两个单独的线程中运行解析和学习来利用多核 CPU,进一步提高其速度。这使得 vw
能够像读取数据一样快速地学习。事实证明,vw 中大多数支持的算法与直觉相反,瓶颈在于 IO 速度,而不是学习速度。
检查点和增量学习:vowpal wabbit 允许您在学习时将模型保存到磁盘,然后使用 --save_resume
选项加载模型并从上次停下的地方继续学习。 p>
类似测试的误差估计:vowpal wabbit“实时计算”的平均损失始终基于看不见的(样本外)数据 (*)。这样就无需费心预先计划的保留或进行交叉验证。您在训练期间看到的错误率与“测试类似”。
超越线性模型:vowpal wabbit 支持多种算法,包括矩阵分解(粗略稀疏矩阵 SVD)、潜在狄利克雷分配 (LDA) 等。它还支持动态生成项交互(双线性、二次、三次和前馈 sigmoid 神经网络,具有用户指定的单元数)、多类分类(除了基本回归和二元分类之外)分类)等等。
the official vw wiki中有教程和很多例子在 github 上。
(*) 一个异常(exception)是如果您通过 --passes N
选项使用多次传递。
关于performance - VowpalWabbit:差异和可扩展性,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/9065160/
我最近的任务是估计 IIS 可以处理的并发用户数。不幸的是,我对 IIS 的经验为 0,所以我希望有人能指导我去哪里寻找。我希望在这个阶段我不必做我自己的基准测试。 我想知道它可以处理的并发连接数是多
我们正在考虑建立一个具有约 8000 个客户端和每个客户端一个队列的 MSMQ 系统。平均而言,系统每天需要处理来自每个客户端的约 2000 条消息,其中消息大小范围从 1K 到 MSMQ 最大大小
我们即将从一个内容丰富的网站开始,我们正在考虑使用 Dotnetnuke。 与联合国网站(http://www.un.org/en/index.shtml)相比,该网站将是多语言的 问题是:DotNe
我正在寻找有关 DB4O 对象数据库的信息。我知道它有客户端/服务器模式,但我不知道它的可扩展性如何。我非常喜欢对象数据库的想法,但仍然找不到合适的 OODB 用于我的任何项目。所以我的问题是: 我想
我目前使用 Sphinx Search 来优化我们的搜索页面。 该网站越来越受欢迎,这给 Sphinx 带来了更多负载。虽然此时没有什么可担心的,但我想知道 Sphinx 是如何扩展的。我在他们的网站
我对具有 OpenEJB 水平可扩展性配置的 Tomcat 感兴趣,以及它将如何管理分布式无状态 ejb:在每次调用时,是否可以从另一个 tomcat 服务器分配一个实例,例如在应用程序服务器中 -
SQLite 可以替代高流量网站中的 mysql 吗?谢谢 最佳答案 SQLite usually will work great as the database engine for low to
我想开发一个 iOS 应用程序,您可以在其中找到附近的人并与他们聊天。但是,我不知道 firebase 如何处理大量数据。 例子:所以,如果应用程序有 10 万用户。而且他们中的很多人总是在聊天,搜索
我正在尝试在我的新项目中使用 CQRS 和 EventSorcing。我正在遵循 Greg Young 几年前建议的方式(Mark Nijhof 实现 - http://cre8ivethought.
我有一个即将开展的项目,将与 70,000 多个用户(教育)打交道。我想知道 ASP.NET SqlMembership Provider 是否已经以如此大的容量使用过?假设硬件在那里,是否需要做一些
我们有非常简单的 Spark Streaming 作业(用 Java 实现),它是: 通过 DirectStream 从 Kafka 读取 JSON(关闭 Kafka 消息的确认) 将 JSON 解析
我正在使用tensorflow来训练DNN,我的网络结构非常简单,当只有一个参数服务器和一个worker时,每个minibatch大约需要50ms。为了处理巨大的样本,我使用分布式ASGD训练,但是,
已关闭。此问题不符合Stack Overflow guidelines 。目前不接受答案。 要求我们推荐或查找工具、库或最喜欢的场外资源的问题对于 Stack Overflow 来说是偏离主题的,因为
我正在使用 Crawler4j 爬虫来爬取一些域。现在我想提高爬虫的效率,我希望我的爬虫使用我的全部带宽并在给定时间段内爬取尽可能多的 url。为此我采用以下设置:- 我增加了编号。爬虫线程数到 10
我一直在寻找在 NUnit 中获取错误消息的方法。到目前为止,我找到了一些使用 IAddin 和 EventListener 来获取消息的类,但是没有用。我将此代码基于以下链接: About exte
已关闭。此问题旨在寻求有关书籍、工具、软件库等的建议。不符合Stack Overflow guidelines .它目前不接受答案。 我们不允许提问寻求书籍、工具、软件库等的推荐。您可以编辑问题,以
我已经使用 Poco 为 Linux 编写了一个代理服务器,但此后一直在阅读实现 TCP/IP 服务器可伸缩性的各种方法。我将需要服务器处理持久连接(不是 HTTP 流量),上限为大约 250 个同时
我正在尝试为自定义审计要求编写一个 SSMS 插件(需要审计用户在生产环境中运行的所有查询)。我有位于适当文件夹中的 .addin 文件,它在我的 Connect.Exec 方法中命中断点,我能够从事
我正在用 spark 处理数据,它可以处理一天的数据(40G),但失败了 OOM 一周的数据: import pyspark import datetime import operator sc =
当我将无服务器框架代码库部署到 AWS 时,我很好奇哪种方法会更好。 目前,有两种选择。 使用 Nest.js 或 Express.js,因此我将一个函数部署到 Lambda,该函数将处理所有 API
我是一名优秀的程序员,十分优秀!