python - 布朗聚类算法输出是什么意思？

Question

我已经从 https://github.com/percyliang/brown-cluster 运行了 brown-clustering 算法。还有一个python实现https://github.com/mheilman/tan-clustering .他们都为每个唯一 token 提供某种二进制和另一个整数。例如:

0        the        6
10        chased        3
110        dog        2
1110        mouse        2
1111        cat        2

二进制和整数是什么意思？

从第一个 link ，二进制文件称为 bit-string，见 http://saffron.deri.ie/acl_acl/document/ACL_ANTHOLOGY_ACL_P11-1053/

但是我如何从输出中得知 dog and mouse and cat 是一个集群，而 the andchased 不在同一个集群中呢？

Answer 1

如果我理解正确，该算法会为您提供一棵树，您需要在某个级别截断它以获得集群。如果是这些位字符串，您应该只取第一个 L 个字符。

例如，在第二个字符处切割会给你两个簇

10           chased     

11           dog        
11           mouse      
11           cat        

在你得到第三个字符时

110           dog        

111           mouse      
111           cat        

但切割策略是不同的主题。