linux - 从数据中仅 grep 最新的唯一 MSISDN 所需的命令

Question

我有一个数据，其中有 5 个字段，所有字段都以逗号分隔。实际上有两个主要字段，第一个字段是 YYYYMMDD 格式的日期，第二个字段包含 MSISDN 10 位数字。该文件有大约 1.2 亿个数字，其中一些数字是重复的，一式三份，但在这种情况下日期不同。

我只需要唯一的 MSISDN，但日期应该是最新的。

Answer 1

首先，使用以下方法对文件进行排序:

sort filename.txt > filename.sort

其次编写程序并逐行解析文件。在每一行找到 msisdn 并将该编号写入映射 map.put(msisdn,lunenumber)。在这一步之后，再次解析文件并打印其行号存在于 map 中的行。