java - Java 中的字符串标记化(大文本)

Question

我有这么大的文本(读大)。我需要对每个单词进行标记化，对每个非字母进行定界。我使用 StringTokenizer 一次读取一个单词。然而，当我研究如何编写分隔符字符串(“每个非字母”)而不是做类似的事情时:

new StringTokenizer(text, "\" ();,.'[]{}!?:”“…\n\r0123456789 [etc etc]");

我发现基本上每个人都讨厌 StringTokenizer(为什么？)。

那么，我可以用什么代替呢？不要建议 String.split，因为它会复制我的大文本。我需要逐字逐句地浏览文本并在每个非字母上划定界限。是我自己构建一些东西更容易，还是有一些最佳实践方法来解决这个问题？

提前致谢!

Answer 1

StringTokenizer，根据文档 “StringTokenizer 是一个遗留类，尽管不鼓励在新代码中使用它，但出于兼容性原因保留了它。建议任何寻求此功能的人使用 String 的 split 方法或 java .util.regex 包代替。” 这几乎总结了 StringTokenizer 的仇恨。

如果内存确实是个问题，您可以逐个字符地遍历字符串和分隔符之间的子字符串，进行处理，然后继续。