揭秘：美国天网文档泄露，机器学习算法或错误杀害数千人

除于明确反对“杀死多少无辜者是可以被接受的”这个话题，这也假定了一个前提：有许多恐怖分子需要被识别出来。“我们知道，在一个群体中，‘真正的恐怖分子’的比例是非常小的，”Ball指出，“正如Cory说的那样，如果这个前提不是正确的，那么我们都已经（被他们杀）死了。所以，很小的误报率也会让很多人被错误地认为是恐怖分子。” 

“更重要的一点是，”Ball补充道，“这个模型完全忽略了‘真正的恐怖分子’中那些与用来训练模型的‘真正的恐怖分子’在统计上表现极为不同的家伙。”

0.008%的误报率对于传统的商业应用而言是非常非常低的。当出错的结果是把广告投放到错误的人身上、或是向某人错误地收取高昂的会员价时，这个误报率是可以接受的。然而，即使是0.008%的巴基斯坦人口，也意味着有15000人可能会被误判为恐怖分子并成为军队的打击目标——更不用说无意中被卷入暗杀的路人，或者首先来到现场的先遣急救员（first responders）了。

安全专家Bruce Schneier表示同意。“大数据在政府层面的使用和企业层面的使用在本质上就不同，”他告诉我们，“对精确度的要求意味着同一种技术可能不再适用。如果Google的应用出了错，人们会看到不想买的汽车的广告。而如果政府的应用出了错，他们就会杀害无辜者。” 

日内瓦公约禁止杀害平民，美国是签约国之一。然而，关于天网程序的许多方面仍然是未知的。例如，天网是一个闭环系统吗，或者说，对于它根据元数据筛选出的恐怖分子用户，分析师是否会在暗杀实行前审查每一个用户的档案？是否有在致力于抓捕这些“恐怖分子”嫌疑人、对他们开庭审判？鉴于生成猎杀名单的机器学习算法有明显缺陷，美国政府如何要确保它不会杀害无辜的人？

“对于使用天网是否是一种战争罪行这件事，我尊重律师的看法，”Ball说道，“这是坏的科学，该死的这毫无疑问，因为分类在本质上就是概率性的。如果你要判处一个人死刑，通常我们有一个‘超出合理怀疑’的标准，这和你谈论分数接近“可能的恐怖分子”的那些人，完全就不是一回事。而这假定了分类器处在筛选恐怖分子的流程的第一阶段——我很怀疑这样的设置，因为，很简单，我们没有足够的“已知的恐怖分子”的例子，来让随机森林为它们生成一个不错的模型。” 

遭泄露的NSA幻灯片提供了强有力的证据，表明有数以千计的无辜民众被贴上了恐怖分子的标签。被贴上标签以后会发生什么，我们就不知道了。我们不了解全貌，NSA也不怎么可能会帮我们填补这个空白。（我们曾经多次试图从NSA那里获得关于这个问题的评论，但直到这篇文章刊发前它都没有给出回应）

算法正越来越多地统治着我们的生活。从运用“天网”的逻辑搜寻巴基斯坦的“恐怖分子”，到运用相似的方法在国内搜寻“毒贩”、“抗议者”或者只是对政府持有异议的人士，只需要迈出小小的一步。“基于元数据”来杀人，正如Hayden说的那样，当它发生在遥远的土地上的时候是很容易被人忽略的。但当天网应用在我们身上的时候会发生什么——如果它现在还没有的话？

（编辑：应用网_镇江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!