- xml - AJAX/Jquery XML 解析
- 具有多重继承的 XML 模式
- .net - 枚举序列化 Json 与 XML
- XML 简单类型、简单内容、复杂类型、复杂内容
问题如下:
我目前的实现(在 Ruby 中)如下:
def convert_tuple(tuple)
document_id, token_index, space, token = *tuple
token = token.chomp
token.force_encoding("ascii-8bit")
document_id = document_id.to_i
[document_id, token_index, space, token]
end
def count_and_match_tokens(string, index, counts, document_id, first_token_index, last_token_index)
token_id = index[string]
if token_id
STDERR.puts "%s\t%s\t%s\t%s" % [document_id, first_token_index, last_token_index, string]
counts[string] += 1
end
index.search(string).size > 0
end
counts = Hash.new(0)
index = Melisa::IntTrie.new
index.load(index_path)
CSV.open(input_path, col_sep: "\t") do |input|
input.each do |tuple|
document_id, first_token_index, space, token = convert_tuple(tuple)
recoreded_pos = input.pos
last_token_index = first_token_index
string = token.dup
while(count_and_match_tokens(string, index, counts, document_id, first_token_index, last_token_index)) do
last_document_id, last_token_index, space, last_token = convert_tuple(input.shift)
break if document_id != last_document_id
string << " " if space == "1"
string << last_token
end
input.pos = recoreded_pos
end
end
CSV.open(output_path,"w") do |output|
counts.each do |tuple|
output << tuple
end
end
convert_tuple
函数仅对数据进行基本转换(即将字符串转换为数字等)。
count_and_match_tokens
函数计算标记并返回 true,如果传递的字符串参数是不同字符串的前缀。我使用一个 trie 结构来有效地验证这个条件。
我想知道使用函数式风格编写的解决方案会是什么样子。我面临的问题是匹配的序列可能跨越许多标记。
在 Ruby 中(或一般的 OO 风格)我可以记录开始匹配的位置 (recorded_pos = input.pos
) 并“重置”流,当子序列匹配时结束了(input.pos = recorded_pos
)。因此,对 each
的后续调用将返回流中的下一个标记。因此,已识别序列内的标记(在 while
循环内处理的标记)也可以是其他子序列中的第一个匹配标记。
我会感谢 Elixir 中的解决方案,但任何其他函数式语言也可以。
编辑
我提供了 convert_tuple
和 count_and_match_tokens
的定义以及示例输入和输出(文件被截断,因此计数不直接对应于输入文件).
代码中出现的索引数据结构是一个Maris Trie (Melisa gem: https://github.com/wordtreefoundation/melisa/)
示例输入:
0 746 1 The
0 748 1 river
0 751 1 Bosna
0 754 1 (
0 763 0 )
0 765 1 (
0 766 0 Cyrillic
0 767 0 :
0 769 1 Босна
0 770 0 )
0 772 1 is
0 774 1 the
0 776 1 third
0 778 1 longest
0 781 1 river
0 784 1 in
0 787 1 Bosnia
0 789 1 and
0 791 1 Herzegovina
0 793 0 ,
0 795 1 and
0 797 1 is
0 799 1 considered
0 801 1 one
0 803 1 of
0 805 1 the
0 807 1 country
0 808 0 '
0 809 0 s
0 811 1 three
0 813 1 major
0 815 1 internal
0 817 1 rivers
要识别的 token 序列:
Bosnia
Bosnia and Herzegovina
river
Herzegovina
示例输出:
river,2
Bosnia,1
Bosnia and Herzegovina,1
Herzegovina,1
我希望这有助于理解我要解决的问题。
最佳答案
一个可运行的程序(count_sequences.rb):
#!/usr/bin/env ruby
require 'set'
sequence_file, token_file = ARGV
sequences = Set.new
forest = File.readlines(sequence_file).each{|s| sequences << s.tap(&:chomp!)}.map!(&:split).each_with_object({}) do |words, root|
words.reduce(root) do |parent, word|
(parent[word] ||= [0, {}])[1]
end
end
#=> {
# "Bosnia" => [0, {
# "and" => [0, {
# "Herzegovina" => [0, {}]
# }]
# }],
# "river" => [0, {}]
# }
File.open(token_file) do |f|
current_node = forest
f.each_line do |line|
token = line.tap(&:chomp!).split[-1]
spec = current_node[token] || forest[token]
if spec
spec[0] += 1
current_node = spec[1]
else
current_node = forest
end
end
end
#=> {
# "Bosnia" => [1, {
# "and" => [1, {
# "Herzegovina" => [1, {}]
# }]
# }],
# "river" => [2, {}]
# }
def print_tree(node, sequences, parent = nil)
node.each do |word, spec|
sequence = [parent, word].compact.join(' ')
puts "#{sequence},#{spec[0]}" if sequences.include? sequence
print_tree(spec[1], sequences, sequence)
end
end
print_tree(forest, sequences)
你可以运行它
$ ruby count_sequences.rb /path/to/sequences.txt /path/to/tokens.txt
输出
Bosnia,1
Bosnia and Herzegovina,1
river,2
关于ruby - 使用功能样式匹配流中任意数量的以下标记,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44364424/
我有几个带有视频和图像的 Bootstrap slider 。在 slider 之外,我想要一个可以转到包含视频的幻灯片的按钮。包含视频的幻灯片的数量因 slider 而异。我想做的是获取幻灯片的数量
我在编写一个查询时遇到了一些问题。 我有一个由文件及其大小(以字节为单位)组成的表。它看起来像这样: FileUrl | FileSize ------------------ xyz.docx |
我有一个带 iframe 的网站和一个带另一个 iframe 的网站,所以它是一个 iframe 内嵌另一个 iframe(都在不同的域上)。那么有没有办法从父div或父主div的url(parent
以下表达式在 JavaScript 中给出了特殊的结果。 typeof (5 + "7") // Gives string typeof (5 - "7") // Gives number 如
我有一个名为“交易”的表,每当有人在我的网站上进行购买时,我都会在其中输入用户 ID、购买类型和金额。 我想向每个用户显示过去 7 天的这些统计信息。 目前,我有这个: $data = array()
我一整天都在努力寻找解决这一挑战的办法。 我有一张 table : id | amount | type | date |
我正在尝试在 10 个数据节点的集群中测试 Map reduce 程序的性能。在此过程中,我使用了 5 个 Reducers,然后是 10 个等等。 我在想增加 reducer 的数量也会使工作完成得
我正在使用 html5 输入 type="number"。我想监视此输入的变化,但是: 因为在支持它的浏览器中 它有旋转控件 我不能只监视 .keyup, 因为我不想等待它失去焦点,所以我不能只监视
我的购物车表格有问题。我创建了一个如下所示的表格: SQL Fiddle 我的问题是我希望能够选择产品 ID,并计算该产品 ID 在表格中重复的次数,以便我可以显示用户在购物车中拥有的商品数量。 寻找
我使用许多包含来显示我网站的一小部分。使用许多 include 是否合适,或者我应该减少它们(尽可能多)。包含函数要多花多少时间? 我的主页加载速度很慢。有什么方法可以让它加载更快。 (我的主页每天在
这个问题在这里已经有了答案: 关闭 10 年前。 Possible Duplicate: length of array in function argument 我的数组大小是5。例如: arrC
是否有标准的 Python 方法来处理 Python 中的物理单位/数量?我看到了来自不同领域(如物理学或神经科学)的不同模块特定解决方案。但我更愿意使用标准方法而不是“孤岛”解决方案,因为其他人应该
基本上就像标题所说的那样,有没有办法从 JavaScript 程序中查看事件循环中当前存在多少个 promise ?最好在 Deno 上。 最佳答案 Deno v1.26 添加了一个内部 API,可用
我只是想知道大型项目-比如说航空公司的预订系统,它可能有多少类/对象。 对象:客户,飞机,机场,路线,机票,订单。这就是我能想到的。该项目可能是成千上万的代码行,那么是否可能会有更多的类(执行与对象无
如果有办法限制Scala中未处理的 future 数量,我将无法提供资金。 例如下面的代码: import ExecutionContext.Implicits.global for (i
从昨天开始,我一直在努力做到这一点,尽管还没有运气。我找到了解决方案,在我想要完成的事情上总是有细微的差别。 我试图获得所有可能的组合,稍微像这样:combination_k ,但我也希望相同的项目与
我正在尝试更新 1500 个 QuickBooks Online 库存项目的现有数量。我可以从商店中提取 1500 种产品。 这个更新可以做吗?我看到手头没有数量的物品: https://develo
我想与工作人员一起扩展应用程序。 可能有 1 名 worker 或 100 名 worker ,我想无缝扩展它们。 这个想法是使用副本集。然而,由于特定领域的原因,扩展它们的适当方法是让每个工作人员知
Android Studio 有没有办法显示 XML 布局中存在的 View 数量?众所周知,布局应该包含 <=80 个 View ,因此超过此值就会出现此警告,因此告知数量会非常有帮助。 Layou
虽然编码时总是出现有关 IBOutlet 保留计数的相同问题:从 NIB 取消归档对象后保留计数?何时对 IBOutlet 使用 @property?设置时保留还是分配? Mac 和 iPhone 之
我是一名优秀的程序员,十分优秀!