- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个程序可以处理通过网络传入的大量数据流(不是 java.util.stream
的意思,而是 InputStream
)。该流由对象组成,每个对象都有一种子流标识符。现在整个处理都是在单线程中完成的,但是需要大量的CPU时间,而且每个子流可以很容易地独立处理,所以我正在考虑多线程。
但是,每个子流都需要保留大量庞大的状态,包括各种缓冲区、 HashMap 等。没有特别的理由使其并发或同步,因为子流彼此独立。此外,每个子流都要求其对象按照到达的顺序进行处理,这意味着每个子流可能应该有一个线程(但可能一个线程处理多个子流)。
我正在考虑几种方法,但它们不太优雅。
为所有任务创建一个ThreadPoolExecutor
。每个任务将包含下一个要处理的对象以及对保留所有状态的 Processor 实例的引用。这将确保必要的先发生关系,从而确保处理线程将看到该子流的最新状态。据我所知,这种方法无法确保同一子流的下一个对象将在同一线程中处理。此外,它需要一些保证,对象将按照它们进入的顺序进行处理,这将需要 Processor
对象的额外同步,从而引入不必要的延迟。
手动创建多个单线程执行器以及一种将子流标识符映射到执行器的 HashMap 。这种方法需要手动管理执行器,在新的子流开始或结束时创建或关闭它们,并相应地在它们之间分配任务。
创建一个自定义执行程序,用于处理任务的特殊子类,每个任务都有一个子流 ID。该执行器将使用它作为提示,使用与具有相同 ID 的前一个任务相同的线程来执行此任务。但是,我没有看到实现此类执行器的简单方法。不幸的是,似乎不可能扩展任何现有的执行器类,并且从头开始实现执行器有点矫枉过正。
创建一个ThreadPoolExecutor
,但不是为每个传入对象创建一个任务,而是为每个子流创建一个长时间运行的任务,该任务会阻塞在并发队列中,等待对于下一个对象。然后根据对象的子流ID将对象放入队列中。这种方法需要与子流一样多的线程,因为任务将被阻塞。预计子流数量约为30-60,因此可以接受。
或者,按照 4 中的方式继续,但限制线程数量,将多个子流分配给单个任务。这是 2 和 4 之间的混合。据我所知,这是其中最好的方法,但它仍然需要在任务之间进行某种手动子流分配,并需要某种方法来关闭额外的任务,如子流结束。
确保每个子流在自己的线程中处理且没有大量容易出错的代码的最佳方法是什么?这样下面的伪代码就可以工作:
// loop {
Item next = stream.read();
int id = next.getSubstreamID();
Processor processor = getProcessor(id);
SubstreamTask task = new SubstreamTask(processor, next, id);
executor.submit(task); // This makes sure that the task will
// be executed in the same thread as the
// previous task with the same ID.
// } // loop
最佳答案
我建议使用一组单线程执行器。如果您可以为子流设计一致的哈希策略,则可以将子流映射到各个线程。例如
final ExecutorsService[] es = ...
public void submit(int id, Runnable run) {
es[(id & 0x7FFFFFFF) % es.length].submit(run);
}
key 可以是String
或long
,但可以通过某种方式来识别子流。如果您知道某个特定的子流非常昂贵,您可以为其分配一个专用线程。
关于java - 使用执行器处理 Java 中流的子流,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/33992822/
我有这个 html 代码: HELLO WORLD! X V HELLO WORLD! X V 我想按 X(类关闭)将父 div 的高度更改为 20px 并显示 V(类打开),但在每个 d
在会计应用程序的许多不同实现中,有两种主要的数据库设计方法来保存日志和分类帐数据。 只保留 Journal 信息,然后 Ledger 只是 Journal 的一个 View (因为 journal 总
我想在另一个子里面有一个子, sub a { sub b { } } 我想为每次调用 sub b 创建一个新的 sub a 实例。有没有办法在 Perl 中做到这一点? 当我运行上面的
我有一些代码正在查找重复项并突出显示单元格: Private Sub cmdDups_Click() Dim Rng As Range Dim cel As Range Set Rng = ThisW
可能有一个简单的解决方案,但我很难过。 我有一个包含一个 ID 字段的主表。在两个可能的字段中有一个具有该 ID 的子表。想象一个由选手 A 和选手 B 组成的 double 队。Master 表将有
假设我有一个包含对象的数组: [ { "id": "5a97e047f826a0111b754beb", "name": "Hogwarts", "parentId": "
我正在尝试对 MySQL 数据库表执行一对父/子模型的批量插入,但似乎无法使用标准的 ActiveRecord 功能来完成。所以,我尝试了 activerecord-import gem,但它也不支持
我有一个带有多个子类的父抽象类。最终,我希望通过 GUI 中的进度条显示子类中完成的进度。 我目前所做的,我意识到这是行不通的,是在父类中声明为每个子类将覆盖的虚拟方法的事件方法定义。所以像: pub
是否可以通过键数组在对象中设置变量?例如我有这个对象: var obj = {'outer': {'inner': 'value'} }; 并希望设置由键数组选择的值: var keys = ['ou
我有一个名为 companies 的 MySQL 表,如下所示: +---------+-----------+-----------+ | id_comp | comp_name | id_pare
我正在尝试使用 sublime text 在 sublime text 上的 ionic 上打开我的第一个应用程序。它给了我一个“找不到命令”的错误。如何修复? 我试过这些命令: sudo rm -r
不好意思问,但我正在使用 webapp2,我正在设计一个解决方案,以便更容易定义路由 based on this google webapp2 route function .但这完全取决于能够在子级
我有代表树的数字字符串(我不知道是否有官方名称): 012323301212 上面的例子代表了 2 棵树。根用 0 表示。根的直接子代为“1”,“1”的直接子代为“2”,依此类推。我需要将它们分组到由
是否可以在当前 Activity 之上添加 Activity 。例如,假设我单击一个按钮,然后它将第二个 Activity 添加到当前 Activity 。而第二个 Activity 只覆盖了我当前
我很难思考如何为子资源建模。 以作者的书籍为例。你可以有 N 本书,每本书只有一位作者。 /books GET /books POST /books/id PUT /books/id DELETE 到
有人可以向我解释以下内容(python 2.7) 来自已解析文件的两个字符串数字: '410.9''410.9 '(注意尾随空格) A_LIST = ['410.9 '] '410.9' in '41
背景 在 PowerShell 中构建 hash table 是很常见的通过特定属性快速访问对象,例如以 LastName 为基础建立索引: $List = ConvertFrom-Csv @' I
我真的很难弄清楚如何调用嵌套 Polymer Web 组件的函数。 这是标记: rise-distribution组件有 canPlay我想从 rise-playlist
我写了一个小工具转储(以 dot 格式)一个项目的依赖关系图,其中所有位于同一目录中的文件都聚集在一个集群中。当我尝试生成包含相应图形的 pdf 时,dot开始哭: 命令 dot -Tpdf trim
给定一个 CODE ref,是否可以: 访问该 CODE ref 的解析树 通过指定 CODE ref 的解析树来创建一个新的 CODE ref,该解析树可以包含在 1 中返回的解析树的元素 通常我们
我是一名优秀的程序员,十分优秀!