java - 确定 UTF-32 编码的字符串是否具有唯一字符

Question

我有一个关于使用位 vector 方法的问题，该方法通常用于查找字符串是否具有唯一字符。我已经看到这些解决方案 ( one of them ) 对于 ASCII 和 UTF-16 字符集效果很好。

但是，同样的方法如何适用于 UTF-32？最长的连续位 vector 可以是 Java 中的 long 变量，对吗？ UTF-16 需要 1024 个这样的变量。如果我们采用相同的方法，它将需要 2^26 个长变量(我认为)。是否可以使用位 vector 解决这么大的字符集？

Answer 1

我认为你在这里遗漏了一些重要的东西。 UTF-32 是 Unicode 的一种编码。 Unicode 实际上适合 21 位空间。作为Unicode FAQ状态:

"The Unicode Standard encodes characters in the range U+0000..U+10FFFF, which amounts to a 21-bit code space."

任何超出 Unicode 代码空间的 UTF-32“字符”都是无效的......并且您永远不应该在 UTF-32 编码的 String 中看到它们。 。所以 2^15 long 应该足够了。

实际上，您不太可能看到基本语言平面(平面 0)之外的代码点。因此，对 BMP 使用位图(即最多 65535 的代码)和对其他 Pane 使用稀疏数据结构(例如 HashSet<Integer> )是有意义的。

您还可以考虑使用 BitSet 而不是使用long“滚动您自己的”位集数据结构或long[] .

<小时/>

最后，我不应该认为您链接到的问答中的某些代码不适合在 UTF-16 中查找唯一字符，原因如下:

• 使用 long 类型的 N 个变量的想法并且 switch 语句无法扩展。 switch 语句的代码变得庞大且难以管理……并且可能会超出 JVM 规范可以处理的范围。 (编译方法的最大大小是 2^16 - 1 个字节的字节码，因此它显然无法为所有 Unicode 代码空间实现位 vector 。)

  最好使用 long 数组并摆脱对 switch 的需要...这只是真正存在，因为你有 N 个不同的 long变量。

• 在 UTF-16 中，每个代码单元(16 位值)编码 1 个代码点(字符)或半个代码点。如果您只是创建代码单元的位图，则无法正确检测唯一字符。