我才是始皇 (@ZeroDeng)关于节点去重和机场节点重复问题的请教 中发帖

今天在写节点去重相关内容的时候,发现一些付费机场看似很多节点,但是去重后数量折半,你们有遇见过吗? 
比如某机场节点拉取了55个实际去重下来就29个可以落库其他都是只有名字不同,合理吗!我怀疑是不是算法问题!?所以机场节点重复是普遍问题还是我的实现真的出了问题?

目前的去重算法是把节点元数据进行固定排序不包括名字等进行hash落库,然后新节点进行hash比较,然后出现上面问题!

还发现一个有趣的问题,一些机场的节点和github等公开万人骑节点重复,我重点把数据全拿下来看了一下,好家伙,还真就除了名字都一样啊!
附上项目地址欢迎佬一起看看节点去重怎么才能高效准确,欢迎pr或者讨论: