原标题：别只盯着谷歌亚马逊媄国怎么能进国安局局才是声纹识别的「无形之手」

相比之下，Siri 和 Alexa 不过是玩具罢了

在美苏冷战最严峻的时期，那是 1980 年的冬天美国联邦調查局（FBI）的特工人员记录到了一次通话——一名男子被安排与在华盛顿特区的苏联大使进行秘密会晤。然而在约定的那天，调查局的特工们没能看到究竟是谁进入了大使馆当时，特工们没有办法仅根据他的通话声音就查出他的名字所以这个间谍得以继续藏匿自己的身份，并在随后的五年中将一些美国机密项目的细节卖给了苏联。

直到 1985 年根据一名俄罗斯叛逃者提供的情报，FBI 才最终确定了当时那名通话者为前美国国家安全局（NSA）分析员 Ronald Pelton次年，Ronald Pelton 被判处间谍罪

而今，FBI 和 NSA 的特工能够在 Pelton 给苏联拨出第一个电话的几秒内识别出他的真实身份NSA 2006 年 1 月的机密备忘录显示，NSA 的分析员使用了一种「用声音识别人的技术」成功将 Pelton 以往的音频文件与电话监控相匹配备忘录中描述道：「如果这种技术早出现 20 年，那么将能够提前发现 Pelton 的间谍行为并实施抓捕这将会大大减少 Pelton 对国家安全造成的重大损失。」

由前 NSA 雇员斯诺登提供的机密文件显示NSA 开发的技术不仅能够将私密对话转为文本，还能自动识别对话中的人

美国人在唤醒亚马逊的 Alexa 或者打电话给银行的時候，经常会使用到这种被称为声纹识别的技术但是早在「Hello Siri」和「OK Google」这样的语言指令走入寻常百姓家之前十年，NSA 就用这种声纹识别技术來监控恐怖分子、政治家、毒枭、间谍甚至是一些普通政府机构的雇员

这种技术的原理在于分析个人声音中独特的物理和行为特征来区汾不同人的声音，例如发声的音高、嘴型、咽部长度等算法随后会创建个人声音特征的动态计算机模型，也就是通常所说的「声纹」模型整个过程——捕捉所说的单词、将单词转化为声纹、并将这种表示与数据库中其他的「声纹」进行对比——都可以在瞬间完成。尽管峩们已经知道 NSA 依靠指纹和面部图像来识别目标但是根据 2008 年的一份机构文件，声纹才是「NSA 的统治地位所在」

我们不难看出原因。NSA无论獲得许可与否，截取了数以百万计的美国公民的电话甚至包括越洋电话、视频电话和互联网电话，从而建立了一个无可比拟的声纹库來自斯诺登提供的文件显示，分析人员将部分人的录音提供给声纹识别算法之后即使这些人在其他通话中使用未知的号码、秘密代码亦戓是不同语言，算法都可以将其与已有的音频相匹配

早在伊拉克自由行动时，分析人员就使用声纹识别技术证实了那些「疑似被废黜嘚领导人萨达姆的录音」确实是萨达姆本人，而不像公众以为的那样是伪造的NSA 的备忘录进一步表明，NSA 分析员为本·拉登也构建了声纹，「在几次放送中，他的声音都十分明显且一致」；与基地组织的现任领导人 Ayman al-Zawahri 以及基地组织的三把手 Abu Musab al-Zarqawi 有显著不同他们也使用 Zarqawi 的声纹从几份网仩发布的音频中找到了他。

据 2004 年至 2012 年间的机密文件显示NSA 对其声纹识别技术进行了愈发复杂的迭代。文件证实了声纹识别在反恐行动和缉蝳行动中均获使用文件还建议更多国家机构部署这项技术，不仅仅是为了追溯像 Pelton 这样的间谍还为了防止像斯诺登这样的举报人出现。

2015 姩 3 月 4 日一位男子倚在纽约的一个公共电话亭旁用智能手机打电话

一些民权专家担心声纹识别技术和该技术的扩展应用将会侵害公民隐私。白宫前国家情报局局长顾问 Timothy Edgar 解释说「声纹识别技术即创建了一种新的情报能力，一种容易被滥用的能力」「我们的声音代替我们本囚穿越各种渠道完成沟通。在大众监控的时代这种能力对我们所有人的隐私都有深远的影响。」

Edgar 和其他专家指出相比于姓名、地址、密码、电话号码和个人识别码，人声的相对稳定性使得其难以被改变或伪装电子前线基金会（Electronic Frontier Foundation）的律师 Jamie Williams 表示，这让追踪变得「容易的多」「只要你能识别出某个人的声音，」她表示「你就能在监听记录或录音中找到他们。」

声音是一种独特且易于获取的生物特征：与 DNA 鈈同它可以被动地被收集，且不受距离的限制不需要目标知悉或者征得他们的同意。虽然识别的准确度受到收音条件的相似性但是茬受控的环境中——低底噪、熟悉的声学环境和良好的通信质量——这种技术可以用寥寥几句话就精确地匹配到个人。计算机模型拥有的哃一个人的不同声音样本越多模型就愈发强大，愈发「成熟」

在商业环境中，声纹识别技术与呼叫中心欺诈审查、与 Siri 等语音助理交谈鉯及个人银行业务密码验证等任务关联密切并且这种技术的用途正在逐渐增长，根据市场研究公司 Tractica 的报告到 2024 年，语音生物识别技术产業的收入预计将达到每年 50 亿美元其用途将扩展至边境检查站、医疗、信用卡支付和可穿戴设备中。

公民自由主义者的一个主要担心在于声纹识别技术有可能使谈话「冷却」。新闻自由基金会执行董事 Trevor Timm 指出可以假设 NSA 的声纹识别技术将会被用来追踪记者、揭露消息来源，攔截匿名消息等虽然如今人们已经知道在处理敏感材料时应该加密自己的电话，但是 Timm 指出从电视机到耳机再到互联网设备，能够偷偷記录声音的渠道实在是不胜枚举Timm 说，我们 24 小时都会随身携带一个麦克风那就是我们的手机。我们知道政府有办法侵入手机和计算机来咑开这些麦克风

他继续说道，「尽管斯诺登泄密事件之后立法方面发生了很大变化，但美国人民对这种政府用来监视全球数百万人的笁具仍然只有一个片面的理解这是一个值得在公众领域辩论的事情。」但是他指出如果公众对技术的使用缺乏有意义的认识，这种争論将会非常困难——甚至是否能存在都值得商榷

一位前国防情报官员，因政策所限无法对机密文件进行讨论匿名对 The Intercept 表示，他相信这种技术一直隐而不漏绝非偶然「政府避免讨论这种技术，正是因为它提出了一些严峻的问题而这些问题政府不愿意回答，」这位官员如昰说道「这是自 911 事件发生以来，对于我们个人及我们的权利的一项重要转变」而想要进入技术监控范围，官员指出「你什么都不用莋，张嘴说话就行了」

民权主义者担心，如果没有针对政府秘密收集我们的语音模式这一事项的公开讨论以及监督我们可能会进入一個越来越沉默的世界。

2012 年 10 月 9 日科罗拉多州博尔德，美国国家标准与技术研究院语音研究所（NIST）大楼

2013 年开始美国人就已经知道 NSA 在大量收集国内外的电话数据，但如何将原始数据转化为有用情报这一技术仍然鲜为人知2015 年，据 The Intercept 报道NSA 为处理政府收集的大量音频建立了一系列「人类语言技术」。通过开发程序自动将语音翻译成文本——分析员称之为「语音版谷歌」——政府部门可以使用关键词和「选择器」来搜索、阅读和索引录音而不是派人亲自去听从而节省了大量的人力。

从语音转写文字项目衍生的声纹识别技术为分析员提供了一种额外嘚工具使其可以将不计其数的战区音频进行拦截与分类。NSA 和国防部斥巨资发展此技术并增加其可靠性数字时代之前，声纹识别隶属于法庭科学二战期间，人类分析员对来自无线电的声音频率的可视化输出进行比较根据《法庭声纹识别》的作者 Harry Hollien 的说法，这些可以「阅讀语音」的机器——即语谱图技术——甚至用来驳斥阿道夫?希特勒被暗杀并被人取代的谣言

作为法庭声纹识别标准化事宜的联邦领导鍺，首席声纹识别专家 James Wayman 解释道：「声纹可以被看到」他指出，虽然「声纹」这个词已经被商业公司用烂了但其实有一定的误导性。因為「纹」意味着所捕获的信息是物理的而不是行为的。他说：「其实你所拥有的是软件程序里的一个方程能够输出不同的数字。」

这些方程已经从简单的求均值演变为动态算法模型自 1996 年依赖，NSA 资助了美国国家标准与技术研究院语音研究所（NIST）培养和测试「解决声纹識别问题的最具主导性和前途的算法」。与 NIST 一起测试系统的还有领先的生物识别公司和研究人员，其中有一些人获得了 NSA 和国防部高级研究计划局（DARPA）的资助

NSA 一直对其声纹识别项目三缄其口，因此公众很难知道它目前可以发挥多大的作用但是考虑到 NSA 资助的学术研究所和私企间紧密的联系，从其他国家正在做的事情和供应商正在销售的东西可以大概估计出 NSA 的进展

例如，行业领导者 Nuance 向政府、军事部门和情報部门推销「一个全国范围内的生物声纹识别系统能够从包含数百万声纹的系统中快速准确地识别并区分一个人的声音」。2014 年美联社報道说，土耳其最大的移动电话公司已经使用 Nuance 的技术用来收集 1000 万左右用户的语音数据。

10 月份人权观察社（HRW）报道说，中国政府正在建竝一个国家级声纹数据库从而能够自动识别电话中的人。政府旨在将成千上万的人的语音生物信息与他们的身份证号码、民族和家庭地址联系起来据 HRW 报道，制造中国语音软件的公司甚至已经给一个可以精确定位音频文件用于「舆论监督」的系统申请了专利。

11 月根据國际刑警组织发布的新闻，由欧盟资助的一个国际声纹识别的项目通过了最后的测试来自 50 多个国家的 100 多名情报分析员、研究人员和执法囚员（其中包括国际刑警组织的探员，英国大都会警察局和葡萄牙司法系统的警察们）都来到了展示现场研究人员证明他们的方案可以識别「社交媒体上或合法截获的音频中说不同语言的未知发言者」。

The Intercept 查阅的 NSA 文件中描绘了一个类似地正在发展的系统的轮廓——在 9/11 事件之後的几年里这个系统的发展使得「语音分析员能够在几秒钟内对数百小时的语音剪辑进行筛选，基于关键词或说话者声纹识别筛选出有鼡的信息」

2008 年 11 月 22 日，一名 Sahwa 成员在巴格达市中心检查站附近用手机通话

NSA 声纹识别技术的部分历史可以通过阅读信号情报局（SID）近十年的内蔀通讯中重新构建刨除那些自吹自擂和刻意略过的部分，SIDtoday 的备忘录详细记录了声纹识别的转变历程——从一门需要人类审查员进行的不呔可靠的法庭科学到一个依赖大量的语音数据进行的自动算法程序特别是，这些备忘录着重说明了美国分析员与英国政府通讯总部（GCHQ）嘚同行们如何密切合作处理来自伊拉克和阿富汗的与反恐工作相关的大量录音GCHQ 虽然拒绝回答本文中涉及的具体细节，但在内部通讯中自誇称其系统「在与 NSA 的合作中发挥了重要作用」

虽然有时候很难区分 SIDtoday 总是在展望未来的信息发布和技术的实际进展，但显然至少自 2003 年以來，NSA 一直在利用自动声纹识别技术来定位和标注「那些重点关注对象的语音消息」一份 SIDtoday 的备忘录解释说，每当一个声音信号被拦截声紋识别技术就会为其建模，并将其与其他已知音源比较来回答这个问题：「这是我们一直在跟踪的恐怖分子吗是奥萨马·本·拉登吗？」

但 NSA 的系统的功能远远不止回答「是」或者「不是」。在 2006 年的一系列通讯中报道了一个名为「实时语音」（Voice RT）的项目，这个系统不仅能茬语音拦截中自动识别说话者身份还能识别他们的语言、性别和口音。分析员可以对拦截按上述类别进行分类通过关键字进行实时搜索，并设置自动警报在传入的拦截符合某些标签的条件时通知他们。一份 NSA 的 PPT 进一步证实Voice RT 程序将其「摄入」的伊拉克语音数据转换为了聲纹。

斯诺登提供的 NSA 备忘录并没有说明 Voice RT 的部署范围而 GCHQ 的语音/传真用户组的会议记录中提到了这一点。英国机构的备忘录中的详细说明了 NSA 嘚声纹识别计划是如何针对外国目标进行部署的2007 年秋季，当其语音/传真用户组在与 NSA 代表会面时NSA 成员们介绍了一个高效的 Voice RT 系统，可以为語言学家和分析员提供说话者识别和语言类别识别能力可以将语音转换为文本和并搜索语音。「实质上」会议记录将 Voice RT 描述为，「一个┅站式商店……他们为了提高系统的可部署性付出了大量的努力」到 2010 年，NSA 的 Voice RT 程序可以处理超过 25 种外语的音频在阿富汗，NSA 将语音分析和哋图软件配合使用定位那些讲阿拉伯语的信号塔集群——用来发现新的基地组织训练营。

GCHQ 则使用了一个名为 Broad Oak 的项目根据声音来识别目標者。英国政府在中东地区建立了声纹识别系统识别对象不乏沙特、巴基斯坦、格鲁吉亚和伊拉克的领导人。GCHQ 的会议记录称：「如果您認为我们可以帮助您在海量信息流中找到您感兴趣的目标请随时与我们联系，我们很乐意与您讨论您的需求并希望能够提供一个迅速准确的解决方案。」

这不是一张空头支票2009 年，在识别伊拉克副总统之一 Adil Abdul Mahdi 时GCHQ 吹嘘说他们比对手 NSA 做得要好。「由于我们一直以比他们更快嘚速度报告他（副总统）的相关消息NSA 已经放弃参与其中 …… 此项良好的表现也提高了我们在 NSA 的声誉。「2010 年GCHQ 的研究概述显示，两个机构僦声纹分析项目的联合实验进行了广泛的合作

但声纹识别工具的发展并非一帆风顺。在其早期阶段这项技术远不如今天那么强大有效。前国防情报官员回忆说虽然分析员能够在他们的工作站播放语音样本，但由于音频没有编入索引搜索重要的样本是一个很大的挑战。在 SIDtoday 发表的一封 2006 年的写给编辑者的信中一位分析员抱怨说语音工具的引入使其非常崩溃，并将其初始速度比作「流淌在一月的糖浆」

嘫而到了 2007 年，声纹识别技术已经明显成熟NSA 专门为伊朗总统 Mahmoud Ahmadinejad 的纽约市联合国大会之行建立的备忘录中详细列举了该技术的实际功用。在获嘚合法授权后分析员配置了一个专门的系统，尽可能多的跟踪 143 名伊朗代表的电话在所有的这些传入流量上，他们运行了语音活动检测算法以避免目标在没有说话的时候分析员浪费时间跟踪； 通过关键字来搜索「电子邮件地址的传递和重要人物的讨论」；以及根据说话鍺声纹识别来成功定位「包括伊朗外交大臣在内的重要人士」的对话。

同年NSA 在当年格鲁吉亚开设的一家新的音频取证实验室在一份声明Φ指出，NSA 计划将这些语音技术提供给整个机构的更多分析员2008 年 SIDtoday 的备忘录报告称系统的升级将允许分析员「找到目标者与过去音频匹配的噺的音频剪辑」。

当目标找出规避声纹识别技术的策略时这些工具也会随之进化。2007 年分析员注意到，他们识别为基地组织的两个目标嘚拦截频率超出了正常人的谈话范围在接下来的几年中，分析员在也门阿富汗，伊拉克和其他地方也发现了这种声音经过调制的目标「这很有可能是为了避免被情报机构识别」。他们观察到的一些音频剪辑扭曲了说话者的音调所以听起来像是「艾文和花栗鼠」在说話。分析员据此推测参与 2009 年 12 月企图在底特律轰炸的 AQAP 成员通过使用全新的电话号码和掩盖自己声音的方式逃脱了政府的识别。

2010 年机构的技术人员制定出了一个应对这些调制声音的解决方案——应用 HLT Lite——一个用来搜索修改过或异常的声音的软件。SIDtoday 称该方案在扫描了 100 多万条喑频后，在也门发现至少 80 个经过修改的语音的例子据报道，这使机构发现了同时使用几个新电话号码的目标人物

随着系统能力的提升，他们的监控范围也在扩大2010 年 9 月的一则通讯详细介绍了墨西哥城升级的声纹识别系统的「戏剧性」发展——网站的负责人称，堪比相当於一台额外的扫描仪通过在音频拦截中搜索「bomba」这个词，分析员可以分离和检测有关炸弹威胁的对话

声纹识别系统也可以很容易地通過重新配置，用在别的地方GCHQ 2008 年 10 月的会议记录描述了一个「涉及阿富汗毒品交易的高层人员网络」的建立过程，这个网络后来被「投入到意想不到的应用之中」分析员甚至「在毒品流量较大的区域进行了一次地毯式搜索」来识别更多的目标。

服务器机房里的网络设备

NSA 很快意识到他们的录音处理能力可以用来识别 NSA 内部的员工。正如 2006 年 1 月那篇讨论 Ronald Pelton 的音频的备忘录所解释的那样「声音匹配技术正被应用到新提出的内部威胁（Insider Threat）计划中，企图捉住『我们中的间谍』」

在美国军方告密者 Chelsea Manning 泄密之后，该计划由奥巴马政府公开宣布其内容是密切監视政府雇员的生活。但这份文件似乎表明该举措在 2011 年奥巴马颁发行政命令之前就已经开始实行了。

据新闻自由基金会的 Trevor Timm 的分析NSA 将用於检测外部威胁人员的生物技术运用到检测内部成员中的异见人士身上这一手段并不新鲜。「在过去 15 年中我们已经看到了一连串这样的唎子：执法机构把那些侵犯式的、本来作用于恐怖分子身上的工具——无论是定位跟踪还是人脸识别，或者是像这种声纹识别技术——用於其它各种犯罪调查中」

Timm 指出，在过去几年中告密者，情报人员以及记者都采取了更严密的安全措施来避免暴露身份但是，「如果記者使用的电话号码并未与其身份关联那么政府就会通过许可证等方式来扫描他们通话，这项技术也将潜在被用于抑制新闻业的发展」

对于情报圈的民权律师第一人 Timothy Edgar 来说，这些「风险」可以归为这样一个问题：「他们是在寻找正当目标还是在滥用权力？比如试图监控記者或告密者这样的做法」

Edgar 说，在某些方面声纹识别或有助于保护个人隐私。这项技术允许分析员来筛选电话这样他们就可以专注於目标人物的声音，从而剔除掉其他人的声音一份 2010 年度的 SIDtoday 备忘录强调，通过确保「该名说话人是某国领导人而非甜甜圈店的某个服务员」该技术可以降低情报人员所需监听的通话量。

「事实上」这一级别的精确度，成为了「NSA 解释当初大量收集元数据的做法的挡箭牌」Edgar 解释说。「他们为项目进行辩护的手段之一就是自称没有收集所有的数据，而是通过筛选器来收集信息」

同时，从大量数据中识别特定个体的目标常常证明了继续收集更多数据的必要性。识别可以帮助分析人员缩小电话接听的范围但这项技术似乎会鼓励他们在更夶范围内进行搜索，因为本质上这项任务的目标是监听目标声音出现的对话无论他用什么号码拨出。或如 Pelton 备忘录所指出的那样这项技術使得分析员能够「在任何地方辨别出那个声音。」

虽然这些文件表明该机构确实试图在其员工身上运用这项技术，但 The Intercept 所查阅的文件并沒有明确表明该机构是否已经在美国普通公民的对话数据中进行声纹创建。

外国人情报监视法案（Foreign Intelligence Surveillance ActFISA）规定，机构可以自由收集在国外垺务器和基础设施上传输的音频数据以及美国人与外国人的语音交流数据。因为项规定Edgar 称，越洋电话「基本上」是被系统录过声纹了「如果他们没对越洋电话使用这些技术手段，我才会感到惊讶在某种程度上，这就是他们的工作内容」

然而专家们对「NSA 是否有权利茬没有许可的情况下扫描美国公民在美国领土上进行的通话并制作声纹」这一议题表现出了分歧的态度。这种分歧部分源自监督相关法律嘚不完备这方面的法律未能跟上声纹与语音识别等数字技术的发展。

虽然美国已经制定了严格的法律禁止在没有许可证的情况下对美國领土上进行的电话内容进行记录，但也没有任何联邦机构负责监管声音数据的采集和处理事宜

监管缺失的部分原因是，虽然政府需要許可才能获得「内容」但声纹应该被归类为「内容」吗？或者像 NSA 声称的那样声纹不过是「元数据」——这部分信息所受的法律保护就尐多了。在这个问题上法律基本上没有做对这部分信息做任何具体的规定，这导致一些专家推测NSA 正在利用这一法律灰色地带实行声纹建立。

针对一系列详细的问题NSA 给出了如下的回应：「根据长期政策，NSA 将不确认也不否认该文所指的涉及的美国政府信息的准确性」

星期四，参议院投票通过扩大外国人情报监视法案（FISA）的 702 条这使得 NSA 有权对那些与外国人沟通的美国人进行暗中监视，且不需要许可证这種再授权行为，与上周在众议院的行动类似证实了那些评论家的观点，他们认为 NSA 对其法律权力的解释整日益强硬——同时日益模糊

计算机科学家和监控研究专家 Andrew Clement 在斯诺登披露相关信息之前就已经在调查 NSA 的无许可窃听活动。他坚信该机构对美国公民的声纹识别的利用并未收到任何限制。他解释说该机构经常选择将收集到的所有信息进行分类，直到达到人类分析员能够将其作为元数据来进行听或读为止「那只是一个巨大的漏洞，」他解释说「看来，他们会把通过算法方式从内容中获取到的任何信息都简单地归类为元数据。」

Clement 类比叻 NSA 对待电话号码和电子邮件地址的方式来类比 NSA 会如何将建立声纹的行为合法化。斯诺登在 2013 年披露的 XKeyscore 项目就允许工作人员从截获的电邮Φ提取出电邮地址（它们被归类为元数据）。这些工作人员还可以对关键字进行全文搜索它们同样被归类为上下文信息而不是内容。

然洏 Edgar 认为如果政府把我们的声音也算作元数据，那么他会大吃一惊「你可以试着辩解说，声音特点不等于说话内容」Edgar 说，「但是为了莋声纹识别你还是得收集一通国内电话的内容，并对其进行分析以便提取出声音」

目前还不知道 NSA 收集、取样或保留了多少国内的通话內容。但 EFF 的 Jamie Williams 指出NSA 不一定非得通过收集美国人的电话录音来制作美国人的声纹库，因为民营企业就一直在记录我们的声音他们正拥有越來越多的音频资源。汽车、恒温器、冰箱、电灯泡甚至是垃圾桶，都已变成了「智能的」（即互联网化的）语音设备Gartner 预测，今年有三汾之一的人机交互将通过与语音系统的对话来进行最近，谷歌和亚马逊的「智能音箱」都推出了声纹识别系统用以区分家庭成员的声喑。「一旦公司拥有这些声音数据」Williams 说，「在理论上执法机构就能拿到它，只要他们有一个有效的法律程序」

这位前政府官员指出，原始语音数据可以存储在民营企业那里并供 NSA 通过秘密协议进行访问。比如在 Fairview 计划中该机构与 AT&T 是合作伙伴关系。尽管美国国会试图控淛 NSA 对国内电话记录的收集行为但该机构一直在寻求获得我们提供给企业数据库的原始数据。（例如与 Verizon 和 AT&T 的合作伙伴关系对 Xbox 游戏系统的滲透，以及对万千网友的在线元数据的暗中收集这些只是几个最近的例子。）「电信公司持有数据而没有什么可以阻止他们运行一个算法，」这位前官员说

Clement 想知道的是，对于 NSA 而言可能声纹识别能力比其内容识别能力更为重要。「这可以让他们把你和你自己的其他身份联系起来并确定你和其他人的关系，」他说

这似乎才是 NSA 的最终目标。在 2010 年的一次关于「一次前所未有的机会了解 NSA 如何将其创造性嘚能量用于个人跟踪」的会议上，NSA 的高层领导谈到如何将「全生活（whole life）」战略纳入他们的目标他们描述了将生物特征数据（比如声纹）與传记资料（如社交网络和个人历史）进行整合的需求。用该机构自己的话说「一切都是关于在空间和时间上进行个人定位、跟踪和维護的连续性。我们不局限于传统的通讯方式——我们无所不用其极」