sql - 我误解了 Ruby 中的 String#hash 吗？

Question

我正在处理一堆数据，但我还没有将重复检查器编码到数据处理器中，所以我预计会出现重复。我运行了以下 SQL 查询:

SELECT     body, COUNT(body) AS dup_count 
FROM         comments
GROUP BY body
HAVING     (COUNT(body) > 1) 

然后返回一个重复的列表。对此进行调查，我发现这些重复项具有多个哈希值。最短的评论字符串是[deleted]"。因此，让我们以此为例。在我的数据库中，有九个评论实例是 [deleted]"，在我的数据库中，这会产生 1169143752200809218 和 1738115474508091027 的哈希值。116 被发现 6 次，173 被发现 3 次。但是，当我在 IRB 中运行它时，我得到以下信息:

a = '[deleted]'.hash # => 811866697208321010

这是我用来生成哈希的代码:

def comment_and_hash(chunk)     
  comment = chunk.at_xpath('*/span[@class="comment"]').text ##Get Comment##
  hash = comment.hash
  return comment,hash
end

我已经确认我没有在我的代码中的任何其他地方触及评论。这是我的数据映射器类。

class Comment

    include DataMapper::Resource

    property :uid       , Serial
    property :author    , String
    property :date      , Date
    property :body      , Text
    property :arank     , Float 
    property :srank     , Float 
    property :parent    , Integer #Should Be UID of another comment or blank if parent
    property :value     , Integer #Hash to prevent duplicates from occurring

end

我是否正确地假设字符串上的 .hash 每次在同一个字符串上被调用时都会返回相同的值？

假设我的字符串由 [deleted]" 组成，哪个值是正确的值？

有没有办法让我在 ruby​​ 中有不同的字符串，但 SQL 会将它们视为相同的字符串？对于为什么会发生这种情况，这似乎是最合理的解释，但我真的是在摸黑。

Answer 1

如果你跑

ruby -e "puts '[deleted]'.hash"

几次，你会发现值不一样了。事实上，只要您的 Ruby 进程处于事件状态，哈希值就会保持不变。这样做的原因是 String#hash 被植入了一个随机值。 rb_str_hash(C实现函数)使用rb_hash_start它使用每次生成 Ruby 时都会初始化的随机种子。

您可以使用 CRC，例如 Zlib#crc32出于您的目的，或者您可能想要使用 OpenSSL::Digest 的消息摘要之一，尽管后者有点矫枉过正，因为检测重复项可能不需要安全属性。