python - 为 HMAC 准备字符串

Question

我正在编写一个使用 HMAC 进行消息身份验证的网络服务。我在为摘要准备“数据”时遇到了一些问题，并且在 Python 和 NodeJS 中获得相同“数据”的不同摘要。

我相当确定这个问题是由于编码引起的，但我不确定如何最好地解决这个问题。

Python代码:

import hmac
from hashlib import sha1

f = open('../test.txt')
raw = f.read()

raw = raw.strip()

hm = hmac.new('12345', raw, sha1)
res = hm.hexdigest()
print res

>> 5bff447a0fb82f3e7572d9fde362494f1ee2c25b

NodeJS(咖啡)代码:

fs = require 'fs'
http = require 'http'
{argv} = require 'optimist'
crypto = require 'crypto'

# Load the file
file = fs.readFileSync argv.file, 'utf-8'
file = file.trim()

# Create the signature
hash = crypto.createHmac('sha1', '12345').update(file).digest('hex')
console.log(hash)

>> a698f82ea8ff3c4e9ffe0670be2707c104d933aa

编辑:另外，raw 的长度比 file 长 2 个字符，但我不知道这两个字符来自哪里。

Answer 1

这是您从文件系统读取的数据的编码问题，与您使用的算法无关。

当您在 Python 和 JavaScript 中处理字符串数据时，您应该非常小心存储数据的编码。尝试像处理字符串一样处理数据(尤其是具有编码这样的属性) ，或与“原始数据”一样。读取和签名数据时，您可能不应该关心编码，并尽可能使用您的语言尽可能地使用“原始”数据。

一些注意事项:

• 文件系统存储“原始”字节，对文件的内容和编码一无所知。此外，对于某些文件(例如 jpeg)，“编码”概念毫无值(value)
• 这同样适用于加密算法。他们使用原始字节并且对其“字符表示”一无所知。这就是为什么数字签名适用于各种二进制文档等。
javascript 中的
• trim() 或 python 中的 strip() 处理字符串，它们的行为可能因底层编码而异(试试 u's '.例如 python 中的 encode('utf-16').strip().decode('utf-16'))。如果可能的话，我宁愿避免使用修整，也不愿混合处理数据的方式。
• Python 2.x(我想还有 Javascript)有一套规则用于字符串和原始数据之间的隐式转换。

在您的代码中，您在 Python 中处理二进制数据，但在您定义要读取的文件的编码时，在 JavaScript 中转换为字符串。显然，在加密模块中有一种从 utf-8 隐式转换回原始字符串，但我不知道它做了什么。

如 here 中所述，在 node.js 中处理原始字符串的最合理方式是使用缓冲区。您可以从文件系统读取缓冲区，但不幸的是，nodejs 加密库尚不支持它们。如所述here :

The Crypto module was added to Node before there was the concept of a unified Stream API, and before there were Buffer objects for handling binary data.

As such, the streaming classes don't have the typical methods found on other Node classes, and many methods accept and return Binary-encoded strings by default rather than Buffers.

就是说，为了使示例正常工作，当前的方法是通过将“二进制”作为调用的第二个参数传递来读取数据:

file = fs.readFileSync argv.file, "binary"

另外，正如我所说，我宁愿避免剥离我刚从文件中读取的数据。