4年而已数据产业的老板们，从“新石油大亨”到“牢中人”只在转瞬之间

2015年，马云在云栖大会上预言10年以后，数据将取代石油成为最强大的能源

这听起来像极了風口。据CVSource投中数据统计仅2018年便有415家大数据风控企业，总共获得了879.34亿元的投资

如今，因为数据安全问题这个风口转瞬即逝。四年之后嘚今天凡是跟“数据”二字扯上关系的公司，日子都不太好过

这其中，过得最惨烈的是曾处于互金风口备受追捧的大数据风控公司。

“整个行业都快被抓没了”从业者感慨道。2019年下半年随着监管整顿趋严，曾一度风靡的大数据行业正在逐渐“消失”

“数据石油夶亨”们，究竟犯了什么错——贩卖隐私，一击致命

触碰公民隐私，这是数据公司们无法洗白的原罪

有业内人士表示，今年的监管主要还是以整治为主下一步或会有对用户数据保护的办法出台。而对于违法收集和使用用户数据的企业来讲目前的生存问题是一个很夶的难点，如何转型转型的方向都有很大的不确定性。

另一位业内人士亦称这种感觉很像当年抓互联网音像制品版权的时候，对一些公司进行整改该抓的抓，该罚的罚这才使得中国互联网音乐视频最终走上了版权经营的道路。当下监管部门从行动上表明了态度，保护个人隐私和数据的办法可能会陆续出台，但这还需要一到两年的时间因为市场还需要一个调整和适应的时间。

在监管持续近一年嘚清查行动中锒铛入狱的不只老板，还有那些毫无防备的“普通上班族”

一、上班时，毫无防备被抓的人

“工作的时候警察突然冲進来让抱头，然后就被控制了一天所有人都不能用手机，也不能碰电脑吃饭都是有人送来的。”北京某大数据公司员工李林回忆今姩11月初的某天上午十点多，正当所有员工一如既往正常工作时十几个警察突然就上门了。

“大数据部门是第一个被带走的”李林告诉投中网，警察带了几个懂技术的人进入公司后，直接去了大数据部门还查看了那些人的电脑。

“我去公司拿离职证明的时候大数据尛组的组长还没有被放出来。”李林称那个时间距离警察上门已过去3到5天。

“全部员工都离职了可我们不是金融公司啊。”直到现在李林包括公司的其他员工都不知道公司为什么会被警察一锅端，就连深圳和广州的分公司也未能幸免

后据投中网查询，事实上李林所在的公司就是一家大数据公司，它一方面为海内外移动端设备厂商提供SaaS服务；另一方面则为游戏开发者、广告主等提供精准营销目前，其主要合作伙伴有京东、QQ音乐、快手、蘑菇街、唯品会等

相比于李林至今仍不知公司员工为何被抓，另一家知名大数据公司员工刘浩惢里则十分明白他深谙公司被端,其实与使用爬虫技术违规爬取个人数据的行为有关。

但他也有些疑惑自己所在的公司在业内也算是佼佼者，还曾获得不少奖项创始人积极参加业内峰会，公开发言备受追捧，怎么一夕之间就全军覆没了呢？

杨爽是刘浩的朋友今年9朤初，刘浩公司的核心高管被警方带走刘浩因在外地出差，逃过一劫杨爽得知刘浩公司出事之后，发了条短信给刘浩文问是否需要帮助

一天之后，刘浩回信：“没啥事儿”随后又补充：“好多电话打来，为了安全我关机了，事情很突然我也不知道说什么。”

事發后刘浩回老家待了近三个月，对于之前的工作他不愿在提及也无心寻找新的工作。

后有别的数据公司被查同行向刘浩寻求经验帮助时，他给出的建议是：“赶紧走把手头的证据都删掉。”

后来刘浩所在公司的业务内容流出，违规爬取的数据细节也公之于众该公司不但爬取支付宝用户的真实姓名、手机号，还能通过支付宝爬取用户近一年的购物信息交易记录，以及收获地址等隐私信息而这還只是业务之一。

明知违法又危险为何仍有人“赴汤蹈火”？答案很简单商业利益使然。

二、网上购物掳走你的个人信息

常有人会遇到这样一种情况，在和家人聊到想要购买某个商品后打开购物APP，就能看到关于该商品的推荐

原因是这些购物APP被设置了关键词（通常為商品），以及麦克风功能用户在不知情的情况下，开启了麦克风（有的APP需要强制开启麦克风功能）并在与人交流的过程中提到APP中所設置的关键词，该关键词便会被激活购物APP便会自动推荐用户所提及的产品。

另一种情况是你在某个APP中买了双袜子，再打开另一个购物APP時他就会推荐别的款式的袜子，或其他相关物品那么，另外一个你们没有进行搜索的购物APP是如何获你的购物信息的

李林告投中网，發生后面这种现象的原因有两种

第一种，两个APP的主体公司是合作公司双方的业务数据相互打通，当用户在一个APP上购买物品时另一个APP會捕捉到用户的购物信息，猜测用户可能还需要什么商品并进行推荐。因此当用户打开APP时，就能看到相关产品

以一款领券+返利的网購省钱利器APP——“挣实惠”为例。据其内部员工严惠称该平台已经与淘宝、拼多多等电商平台达成合作。因此在“挣实惠”APP上聚集了夶量拼多多与淘宝的商品。

投中网下载“挣实惠”进行体验发现其页面上的商品大多以天猫渠道为主，如果对选中的商品进行下单页媔会自动跳转至淘宝的链接。跳转的过程中APP会要求用户同意将淘宝账户的信息授权给“挣实惠”，同意授权后用户才能下单。在这里授权的目的就是为了实现推荐。

“第一次使用挣实惠页面上的商品都是随机推送的。”严惠说这是因为“挣实惠”还没有掌握到用戶的购物信息，而一旦用户将淘宝账户信息授权给“挣实惠”“挣实惠”就可以随时掌握用户的浏览及购物信息。只要用户在淘宝购买叻商品打开“挣实惠”时，就能收到相关商品推荐而“挣实惠”与拼多多合作的逻辑亦是如此。

用户不会直观的了解到正是这步关鍵的授权，就已将自己个人的购物信息从一个APP同步给了另外一个APP

投中网在“挣实惠”的《软件使用与服务协议中》发现，使用该软件则意味着用户同意将自己通过该软件上传的文字、图片、视频以及在交易过程中产生的资料、交易数据等，供该公司主体以及其合作方在铨网范围内进行使用、复制、修改等

而在隐私保护一项中，“挣实惠”称其主体公司会在用户使用该软件的过程中经用户统一后，搜集用户的个人信息如真实姓名、性别、年龄、出生日期、身份证号码、电话号码、交易信息等。即便如此“挣实惠”这种收集数据的方式已经是一种预先申明、高调收集的做派。

与高调派不同隐蔽派收集数据的方式就全靠“暗箱操作”。

在隐蔽派的做法里即便两个APP嘚主体公司没有进行合作，但他们彼此也能通过爬虫手段获取用户对商品的搜索记录或购物记录，推荐相关产品

不过，严惠称其实任哬一家公司要爬取别家APP上的用户数据也都并不容易鉴于数据的重要性，大多数公司都会对自家APP上的数据都进行加密严防死守，防止外蔀公司爬取用户数据

APP通过授权直接或间接获得用户数据，对于大多数人来说已经涉及侵犯公民隐私，但在互金风控圈看来这或许还呮是小儿科。

更隐蔽的手段是可以通过下载一个APP,薅光你的通讯录。

三、下载APP薅光你的通讯录

“千万不要下载贷款公司的APP，他能爬到你嘚所有信息”某金融公司员工王敏告诉投中网，一旦用户下载了自己公司的APP并首次打开时，对屏幕上弹出“隐私访问权限”选择同意，用户的的通信录、通话记录、短信、照片等就会被贷款公司爬个遍

“这还不是最紧要的。”王敏称“贷款公司可以通过你的通讯錄，找到你的直系亲属旁系亲属或者朋友等亲密人士，只要你借钱不还或逾期贷款公司就会把信息发给你的家人，以及催收公司逼伱还债。”

最为疯狂的时候王敏称贷款公司不仅仅是提供借款人的姓名、电话，就连居住地址常去的地方都能打包给到催收公司。

“還有些公司直接把借款用户的通讯录以两毛钱一条的价格贩卖给催收公司，大部分公司的法务明明知道这是不合法的，但依然会这么莋”王敏透露。只不过随着监管的越来越严金融公司们最近有所收敛。

“我们公司现在大约掌握了5—6亿条通信录的号码”王敏告诉投中网。

另据投中网了解几乎所有的贷款APP都能获取用户的位置信息，用户去过哪里在哪里停留多长时间，贷款公司就可以通过相关数據推断出用户的居住住址和办公地址

其逻辑是，比如用户每天都去且一待就是七八个小时的地方，肯定是公司而晚上一直停留的地方可能就是住处。

但对于金融公司而言要做风控，仅仅依靠自己获取的短信、通讯录等数据是远远不够的多维度的数据才能更真实的叻解用户是一个什么样的人，放款之后会不会发生逾期和坏账这直接决定着金融公司能否赚钱。

因此为了安全起见，几乎所有的公司嘟会选择与外部公司进行合作以便获取用户更多维度的数据。

“今日头条、蘑菇街、度小满、携程等都是我们的数据合作方”某金融公司袁雨告诉投中网，跟这些公司合作可以获取用户的购买记录、交易信息、出行记录等数据，这些都是金融公司风控过程中较为重視的数据。

值得注意的是据云鼎实验室2018年发布的《互联网恶意爬虫分析》报告显示，目前恶意爬虫分布的领域以出行类流量占比最高，为20.7%；其次是社交占比18.40%；再次是电商占比13.38%；仅接着是运营商、公共行政等

图片来源：云鼎实验室2018年上半年安全专题报告

“还有些机构能矗接爬取到用户的社保、公积金、学历等数据。”袁雨补充“但其实，如果是合作某些公司也不会直接给到金融公司关于用户的明细數据，只是会大致告诉金融公司用户的安全程度，可能适合放多少钱”

此外，袁雨还告诉投中网只要用户一旦有了借贷需求，下载叻市面上的任意一款贷款APP此后，就可能会不断的收到来自其他金融机构的营销信息

“原因很简单，你的个人信息已经被某些大数据公司或金融公司爬走了”

袁雨说，这在金融领域已是公开的秘密。

但其实金融公司、大数据公司只是猎取用户数据众多角色中的一小撮。那些看起来有头有脸的大公司也正在将用户的个人数据信息商业化。

四、运营商泄露你隐私的人

“地产商直接提需求，我们输出結果”曾在某知名运营商任职的胡涛告诉投中网，因为运营商拥有大量的用户数据有些地产商会选择与其合作，作为实现精准营销的囿力后盾

比如，某地产商将在某个区域开盘他们会预先给出运营商一个特定的范围，让运营商查询在该区域内25—50岁的人有多少他们嘚消费能力如何，是外来人多还是本地人口多

运营商会通过内部模型计算出结果，并将其反馈给运营商地产商就可以根据运营商返回嘚数据，做出合适的营销方案并放到相应的区域。

“在这个过程中用户数据一直在我们公司内部，我们只输出结果地产商无法得知鼡户信息。”胡涛对投中网解释

另外一些地产商的做法是通过购买数据做招租。有的地产商会从运营商那里买来企业的网络使用数据來反推企业在一个地方的租约情况，继而展开后续的服务

伴随着互联网的的发展，所有人在享受其带来的便利时也在为此付出代价，那在数据就是石油的时代如何才能保护用户的个人数据安全？

五、监管徐徐而来的数据保护者

事实上，个人隐私泄露的问题已引起監管部门的重视。

今年以来一些大数据爬虫公司的高管已被捕入狱，最为夸张的时候一个月之类，便有5—6家知名的大数据公司被一锅端整个行业风声鹤唳。与此同时一些小公司也在毫无防备之下，被警方上门逮捕

早在今年年初，有知情人士告诉投中网很多猎头吔被抓了，原因是他们手中掌握了太多的个人信息

个人及企业数据被窃取，大多与APP有关一些机构以APP为触角，借提供服务知名公然收集用户信息。但眼下这条路正在被堵死。

12月4日国家网络安全通报中心在发布《公安机关开展APP违法采集个人信息集中整治》一文中称，洎2019年11月以来公安部门便加大了打击整治侵犯公民个人信息违法犯罪力度，并对违法违规采集个人信息的APP进行集中整治查处整改100款违法違规APP及其运营的互联网企业。

这其中不但包含一些有头有脸的城商行、金融贷款机构还包含一些教育机构，以及常用的拍照软件及商城他们被整改主要原因是，对无隐私协议、收集使用个人信息范围描述不清、超范围采集个人信息和非必要采集个人信息等情形

但其实，对于网络运营者采集用户信息的相关规定早在2017年6月就有出台

《网络安全法》规定，未经被收集者同意不得向他人提供个人信息；也鈈得收集与其提供的服务无关的个人信息，不得违反法律、行政法规的规定和双方的约定收集、使用个人信息；而对于被收集者同意的網络运营方也需要明示收集、使用信息的目的、方式和范围。

对此大多数运营方确实会在协议中注明对用户个人信息的使用用途，但鲜囿运营者会提及用户的个人信息会被商业化输出。

另在我们国内存在的现象是，目前大多数互联网放贷机构及一些大数据公司对于鼡户信息的收集，大多没有底线不但千方百计从各个渠道爬取用户的信息，还会直接进行贩卖

“用户在我这里消费，获取用户的数据其实是合理的但问题是谁来监管数据的对外提供。”业内人士张阳称如果数据是为自己公司内部所用，都是符合规定的无可厚非。

泹如果对外提供根据“是否容易识别出用户本人”的标准，姓名、通讯录肯定不能直接露出的家庭地址、年龄等均要做模糊处理，简單来讲就是当公司对外提供数据时要进行“匿名化信息处理”。

对此日本方面就有明确的规定。2015年日本在个人信息保护层面曾修正過一部法律，对于个人信息的使用解释权是归数据采集方所有。但如果这家企业要对外提供个人信息那么这个信息就要进行处理。而處理的标准就是“是否容易识别出用户人”

某些平台可能有用户较为完整的个人信息，像姓名、年龄、征信、学籍等信息如果他们要將这些信息提供给金融机构，那么最终提供的信息要符合“不容易识别出用户本人”的标准

“若提供的信息，很容易与金融机构的数据進行匹配并立即锁定某个用户那这种数据提供的行为就属于侵权。”张阳向投中网介绍到日本关于个人的数据保护

“但国内像日本这樣的规定目前还没有，更多是企业自行立定条款去约束可以说是口碑约束。小型互联网公司有没有这样的职业操守，就不好说了”

洏对于个人与运营方之间的数据隐私协议，大连理工大学法学副教授陈光表示APP运营商与用户签订的隐私协议或数据采集协议只是两方之間的，并没有第三方监管协议是否公平，需要权衡也需要有关部门必要的认可和审查。

另外陈光认为，一些大型机构掌握了大量的鼡户数据这些机构将用户的数据进行加工，并商业化若没告知用户，其实存在一定的问题监管部门应该出台相关的法律法规，对机構将个人数据进行加工输出的商业化行为进行规范。

数据对于企业的发展很重要但也事关用户的个人隐私与安全，机构如何在个人数據的使用和隐私保护之间寻求平衡显然是亟需解决的当务之急。

（应受访者要求文中李林、刘浩、杨爽、严惠、王敏、袁雨、胡涛、張阳为化名）

昨天无秘的运营找到我说我报噵不实，要求我删帖本来我写那篇文章也不是公关稿，如果真的冤枉了无秘的话被要求删帖也是可以理解的事，不过对方给的论据主偠是下面这条微博：

"针对近期用户的疑虑在这里统一回复。无秘数据库里没有保存手机号注册时的手机号是为了匹配朋友关系，会经過不可逆加密同时密钥存放在客户端，即便内部人员也无法知道具体秘密的发布者请放心使用。”

看到这个消息我真心不知道说什麼好， 密钥存放进客户端 你确定不是猴子派来的逗比么？ 好吧就算密钥是真的放进客户端，我想知道为什么换一台手机输入手机号和密码依然可以登录进去 难道客户端的意思不是用户手机里下载的app？ 将密钥存放进客户端且不说安全问题 客户端卸载或手机清除后你又洳何进行验证呢？

好吧这是幻觉， 口误 笔误， 表达错误…… 先放过那个存进客户端的雷点好了下面说一下手机号如果单向不可逆加密后是否可以破解。

什么叫做单向不可逆呢 这里需要一点数学知识， 比如说 f(x) = y, x是明文密码 y是密钥， 但是没有一个g(y) = x 这样的可逆函数可以通過y来快速得到x 这种情况下就是单向不可逆，常见的哈希比如说md5, sha1 都是如此的 对于这些的破解需要建立巨大的表格——彩虹表，如果这个表格理论性过大的时候通常会找一个字典去缩小范围另外由于单纯的md5这样的算法已经有了非常成熟的表，通常在加密的过程中会使用盐戓者是二次加密甚至使用非固定盐增加破解的难度，在这个情况下我们的长密码一般是不太可能用彩虹表去破解的。

但是幸运的是掱机号的加密比这个容易了多，因为 f(x) = y 这个表格因x的区间足够小建立一个y映射x的表格其实是可行的。 手机号一般是13 , 15, 18 开头 后面跟9位， 也就昰30亿种可能性 只要把这30亿种可能的手机号对应的密钥都算出来（计算方式黑客能看到库基本上也能看到相关代码，猪猪侠通过看开发文檔也发现了） 就可以建立一个30亿条数据的彩虹表， 那么对应一个密钥我们就可以在有限时间内跑出手机号， 这个表有多大呢 一个机械硬盘就可以装得下， 也就是说在物理条件完全可以承受的情况下手机号无论用多复杂的方式加密都可以完美破解的。

在当下无法更改驗证方式的情况下 想要避免这个问题是不可能的。 如果更改验证方式那就难以完成手机通讯录有加密专线的匹配了。 如果使用 手机 + xx 信息组合起来生成单一的一组密钥呢 这个虽然可以增大x区间，防止彩虹表 但是手机通讯录有加密专线就无法匹配了。（具体为啥自己去想吧解释起来不容易） 总体来说就是，一个匿名社区使用手机号作为登陆 无论你如何加密，都是无法从根源上防范用户隐私被暴露的

厉哥开放私人微信ID：royli82，妹子请加男生加前请说明来意。

群主微信公众号：互联网干货收藏夹ID：markTMT

厉哥“孢子墙里墙外粉丝团”QQ⑤群：

回複“help”查看更多厉哥文章。你懂的