Copyright &
. All Rights Reserved. 如果侵犯您的隐私,请来信通知,!E-Mail:爬了3000万QQ用户数据，挖出了花千骨赵丽颖的QQ号
两周前，做的一个项目需要模拟一批用户评价数据，如果想让数据看着真实点，那就得使用随机的用户昵称和头像啊。要是头像或者昵称全都差不多，那别人一看就看出来这是做的数据了。
于是乎我就写了个从我QQ空间开始的蜘蛛网式的爬虫程序，程序断断续续的运行了两周。总共爬到了腾讯3000万QQ数据，其中有300万包含用户 （QQ号，昵称，空间名称，会员级别，头像，最新一条说说内容，最新说说的发表时间，空间简介，性别，生日，所在省份，城市，婚姻状况）的详细数据。
目前已经爬到我的第7圈好友（depth=7）共3000万数据，目前的瓶颈在家里的网速和电脑的配置上。 最快的时候爬取速度达到一天500W新Q数据。
没图，我说个毛线啊！
目前数据量为2G左右。
再看看，我根据这份数据生成的一些有趣的统计图（数据量太大了一次加载到内存中直接报内存不够了，所以下面的统计数据只取了depth值小数据较完整约80W的数据）：
内存已经爆了，不能怪我。 谁赞助台服务器吧
1、大家一般都在啥时候发说说呢？
从图中看出一天最冷门的时候是凌晨4点，这时全国正在睡觉的人最多。 大家最亢奋的是晚上10点到11点，人们都喜欢睡前看看别人的空间，发条说说。中午12点左右也有一波小高峰
一会我再统计张中国人习惯几点起床，几点吃饭，几点睡觉的图吧
2、中国人都喜欢在几月生小孩呢？
最热门的是1月份和10月份，最冷门的是4月份。10月份生小孩的多好理解，一年忙差不多了，天气也不冷不热正是生小孩的好时候。
但1月份最高且和2月落差很大有点不好理解，那么冷的天生不怕冻吗？
我估计是1月份也快过年了，以前没聚一起的好不容易聚一起了，就容易冲动，冲动就啪啪啪。 4月份生日的最少也好理解，中国人不喜欢4这个数字呗。
大数据有意思吧！！ 我觉得太好玩了，后面还有很多呢。
3、这是我目前爬取的用户所在地分布
你能猜出我是哪的了吗？前四名分别为：广东，湖南，四川，江苏。 没错，我就是湖南的！
湖南人在广东打工的超级多，这也能理解为什么广东排名第一了。江苏是我上学的地方，有点琢磨不透的是四川和我非情非故的居然排第3名，我的朋友们，你们是 谁播的种？站出来！ 还有一种可能，四川人交际能力全国第一，我平时在重庆小面吃饭，四川人确实特别，说话语速那个快啊，声调那个高啊。受不了！
4、数据人群的年龄分布
一不小心就暴漏了我的年龄，没错。我就是那个最高值的1990年；从目前的数据来看，无论是分布地区以及年龄阶段与我的关联还非常大，随着数据量的 不断增加这种关联会逐渐变小，统计图也会逐渐接近全国用户的真实情况。真想弄几台服务器分布式搞起，估计一周就能爬上亿的简单数据。
单靠我的笔记本和家里超烂的网速达到这个目标还很远。
5、数据人群性别分布
男比女足足多了23%的人数，我分析认为实际差距应该是不大的，但女生在设置QQ空间访问权限时普遍要比男生的高。所以我爬取的数据中男生居多。
6、下面系列图是根据一些&关键字&在说说中出现的频率统计出来的，相当有意思。
6.1 图说股市
在知乎 有一个google实习的哥们爬了400亿条tweet也做了很多有趣的分，其中提到一篇关于利用twitter上人的心情来预测股市的论文)很有意思。另附我在该问题下的答案&，仅做技术玩乐，求别再喷我猥琐了。
如果当我们拥有海量的QQ空间最新说说，和sina微博数据。我想，用它们来做一些股市或者其它方面的分析预测是可行的，准确度应该也是非常高的。我接下来可能会考虑去做这件有趣的事情。
将股票中的关键字做海量数据分析，比如会得出当日讨论股票排行榜。进而能得到海量讨论股票的用户，再通过市场的实际反馈找出股票上涨及下跌的正相关 因子，再对这些海量用户进行分析计算得出最靠谱股票推荐大神排行榜。对这些用户分级，分优先度及抓取密度来拿数据。用这些数据分析出哪些是靠谱的股票肯定 靠谱。
6.2 群众讨论最多的明星排行榜，还是很靠谱的。
另附我抓的明星QQ号吧，纯属娱乐，自辩真假。有些空间确实有很多生活私照。
张杰QQ：419998 花千骨的赵丽颖QQ：427794 谢娜QQ：500746 杨幂QQ:456773 范冰冰QQ：88597 周杰伦QQ：332661
6.3 最为用户喜爱的手机品牌
6.4 人们最喜欢谈论的互联网公司，阿里之所以这么低估计是大家都喜欢叫它淘宝或者天猫吧。 取这么多名字，自讨苦吃。
6.5 QQ空间中讨论的最为频繁的社交平台排行榜。
6.6 生活的统计图
爱&恨； 开心&伤心; 笑声&叹气声； 吃货很多； 谁特么说中国不幸福了，这满满的都是正能量数据啊。
好了，其实还可以做很多其它的分析。如果大家有什么有趣的数据分析想知道的，那就给我留言吧。
技术不多说了，程序不难，多线程数据库操作却是把我搞苦了。还好，现在程序差不多稳定了。过程也是很有意思的，有空我再写个程序升级过程中的那些趣 事吧。我觉得一个美妙的程序一定是高度模拟现实的，就像飞机模仿蜻蜓，雷达模仿蝙蝠一样。 这次的程序设计就是模拟的工厂的生产线。附个设计图吧
另外广泛征集大家的聪明点子， 能否用这些数据做一个有趣的网站，app。
原文链接：
如果本文对您有帮助请分享给您的好友，也可按Ctrl+D收藏本页面，谢谢！感谢本文来源方:.NET程序猿小伍
评论列表（网友评论仅供网友表达个人看法，并不表明本站同意其观点或证实其描述）Copyright &
. All Rights Reserved. 如果侵犯您的隐私,请来信通知,!E-Mail:其它关键字
作 者 推 文
[收藏此章节]　[下载]&&
　　。17c276c8e723eb46aefd56d0《》 @ Copyright of 晋江原创网 @　　第五章。7504adad8bb96320eb3afdd4df6e1f60《》 @ Copyright of 晋江原创网 @　　。cacf652ddf8fb《》 @ Copyright of 晋江原创网 @　　花千骨觉得欧阳少恭待自己太好了，好的都觉得像在做梦，花千骨从小就有个梦想，在每次她被村里的坏小子们欺负的时候，她总是祈祷天上的神仙能送一个哥哥给自己，可以保护自己、陪伴自己，像村子里王小妞她哥哥那样在她走累的时候抱着她，每次一撒娇就会有求必应。花千骨希望如果是梦，就让她继续下去不要醒来。。a3c65c《》 @ Copyright of 晋江原创网 @　　“小骨，在想什么这么入迷？”欧阳少恭掂掂怀里的身体，唤回花千骨的注意力。　　“长琴哥哥你待小骨正好，和师父、师兄他们一样好，不，比师兄好，苏苏师兄总是凶凶的不让我做这做那。”欧阳少恭待她只会宠溺，做什么事都随着她，也许是因为曾经失去过，欧阳少恭总是不自觉的对她一步一步退让，降低底线。。37693cfc《》 @ Copyright of 晋江原创网 @　　“这样不好吗？小骨是我的妹妹，你唤我一声长琴哥哥，做哥哥的对自己的妹妹好是理所应当的。”欧阳少恭笑眯眯的说。。cbcb58ac2ed《》 @ Copyright of 晋江原创网 @　　“可是......小骨总是要回家的......”花千骨小声说，花千骨舍不得师父、大师兄、苏苏师兄、红玉阿姨，和天墉城的众人，舍不得这个刚刚认识却待自己极好的长琴哥哥，但是她也舍不得从小把她养大的爹爹。。d2ddea18f0e36bd4e3《》 @ Copyright of 晋江原创网 @　　欧阳少恭眼神一暗，按下心里升起的负面情绪，开口柔声问：“那哥哥随你回家可好？”　　花千骨眼睛一亮，“好啊，”自己怎么没想到，既然自己能来到这个世界，也许别人也能到她原来的世界去，不过，师父和师兄他们也许并不愿随自己离开吧，人都是恋旧的，别的地方再好也不如故乡，比如自己，虽然来到这里五年却依然惦记着疼爱自己的爹爹和那个不欢迎自己的花莲村，花千骨摇摇头，“还是不了，长琴哥哥的家在这里，如果和小骨回家，也许长琴哥哥再也回不到这里，以后长琴哥哥会想家的。”。a49da13542e0《》 @ Copyright of 晋江原创网 @　　家吗？他的家早就失去了吧，以前他的家是洪涯境，后来是天庭，再后来，他没有家了，父神被贬渤海之东的深渊归墟思过千年，他被永除仙籍，再没有回到天界的可能，自己浑浑噩噩辗转人间多年，始终没办法把这里当做家，不，也许多年前曾经有一个，不过后来还是失去了。　　“哥哥的家找不到了，小骨愿意当哥哥的家人吗？”欧阳少恭认真的问坐在自己臂弯的女童。　　花千骨听见欧阳少恭低沉的声音，感到他话语里的悲痛即期待，她的脑子里马上自动补充里一场催人泪下的凄凉故事，而故事的主角就是此刻笑眯眯等着自己回答的欧阳少恭。　　真是太可怜了，花千骨被自己脑补的故事感动到，心疼的抱住欧阳少恭的脖子，“长琴哥哥不哭，小骨呼呼，”仿佛她能看见一个比自己大不了多少的少年孤零零的背井离乡，凄惨非常。“那等小骨找到怎么回家，长琴哥哥就跟小骨回家吧，小骨将爹爹分你一半”花千骨拍着胸脯说，花千骨拥有的东西不多，那个世界仅有花秀才一个亲人，不过花千骨愿意与她的长琴哥哥分享。　　“好，小骨别忘记带哥哥回家。”欧阳少恭笑的很开心，不是以前那种笑容不达眼底疏离的笑容，而是发自内心的，仿佛还是那个太古时代重视情感细腻绵长的太子长琴的笑容。　　花千骨很喜欢吃零食，而且胃口很大，欧阳少恭经常抱着他从街头迟到街尾，吃完再换条街接着逛，对于花千骨的胃口，以前就熟悉花千骨的欧阳少恭又怎么会不清楚。。d045c59a90d7　　“少恭。”欧阳少恭刚打算付钱给花千骨买她看上的冰糖葫芦就听见身后有人唤自己。　　“千觞。”欧阳少恭笑着向尹千觞打招呼，“好久不久。”。25ddc0f8c9d3e22e03d3　　尹千觞是个潇洒恣意的男子，半长的头发披散着，一抹护额系在脑袋上，粗麻布的衣衫腰间挂着个大酒葫芦，尹千觞热情的快步走来，看着坐在欧阳少恭怀里举着糖葫芦穿着和欧阳少恭一个颜色衣服的花千骨，一副被吓到的表情，夸张的叫道：“你女儿？！！”。04ecb1fa28506ccb6f　　花千骨：女儿你妹啊！。1f0d6276《》 @ Copyright of 晋江原创网 @　　欧阳少恭无奈的摇头回答：“千觞别开玩笑了，这个是我的妹妹花千骨，小骨，这位是尹千觞，你直接喊名字就可以。”。8e82abd768f1b《》 @ Copyright of 晋江原创网 @　　尹千觞听见欧阳少恭这样说，哇哇叫着说：“少恭啊，你这样可不够意思了，难得看见这么可爱的女娃娃，怎么也要喊我一声千觞哥哥吧，你妹子不就是我妹子吗，小骨，喊一声‘千觞哥哥’哥哥给你买桂花糕吃。”。632cee946db83e7a52ce5e8d6f《》 @ Copyright of 晋江原创网 @　　花千骨一听，眼神一亮，水润润的大眼睛认真的看着尹千觞，“真的吗，小骨只要喊一声就给小骨买一份好吃的桂花糕吗？”。6a10bbd480e4c5573d《》 @ Copyright of 晋江原创网 @　　“当然，我尹千觞从不说谎，骗你是小狗。”尹千觞拍拍胸脯，心想这欧阳少恭的妹子真是单纯，逗起来肯定很好玩。。9af914b95a0fc33《》 @ Copyright of 晋江原创网 @　　花千骨闻言咧着嘴就喊：“千觞哥哥、千觞哥哥、千觞哥哥。”。67d96d458abdef21　　“唉。”尹千觞开心的点头，见花千骨竖起胖胖的三个手指，疑惑的看着她。　　“小骨刚刚喊了三声，你要给小骨买三份桂花糕。”说完花千骨露出个无齿的笑容。　　“......”尹千觞半响摸摸鼻子，转脸对欧阳少恭说：“这妹子果然是你亲妹子！”　　花千骨跟着欧阳少恭一路吃吃喝喝，体重明显上升，在一次欧阳少恭弯腰抱她时腰部传来清脆的‘咔嚓’声后，欧阳少恭就再也没抱过她，反而笑得一脸温柔的督促她多多运动。　　花千骨打算带着她的长期饭票去一趟乌蒙山谷，虽然她还没有作好告别师父他们回家的准备，但是她打算提前去找找线索。。bb84f3d5《》 @ Copyright of 晋江原创网 @　　花千骨觉得这个世界上没有比这更难抉择的事情了，一方面她舍不得师父他们、一方面她有舍不得她的爹爹，不知道她离家五年，她的爹爹现在怎么样了。。c74d97b01eae257e44aa9d5b　　“小骨的家是在这里吗？”表情莫测的看着这略感眼熟的地方，欧阳少恭低头问花千骨。　　花千骨手里提着一根树枝一晃一晃的走在前面，听见欧阳少恭叫自己，花千骨回头走到欧阳少恭身边，双眼直视着欧阳少恭说：“小骨不记得了，小骨的家在花莲村外边，师父是在这里捡到我的，师父说小骨应该误闯才到了这里，小骨的家应该在另一个世界，不过这里很肯能有通向那边的通道，所以小骨想找找看。”。ec8ce6abb3e952a85b8551ba《》 @ Copyright of 晋江原创网 @　　“另一个世界......”这就能说通为什么花千骨明明第一次见到的时候已经十二岁，二现在却是七岁，如果小骨可以在这两个世界穿行，那么可能十二岁的她遇见了是东方羽的自己，她认出了自己，在同一个世界七岁的她遇见作为欧阳少恭的自己，自己认出了她，原来她还是她，从来都是她。　　“这里是小骨与师父还有师兄第一次见面的地方，当时苏苏师兄昏迷不醒，小骨迷路走到前面的村子里，当时满地的尸体，没有一个活人，不知道到底是什么样的深仇大恨尽然将一个村子屠光，小骨慌乱中救了苏苏师兄，然后看就有人过来就带着师兄躲起来，接着小骨便见到了师父，师父原本打算送小骨回家却发现我并不是这个世界的人，后来师父收小骨和苏苏师兄二人为徒，......”花千骨牵着欧阳少恭的手，指着乌蒙山谷的方向稚嫩的脸上露出一丝感慨的对欧阳少恭说道。　　欧阳少恭神情莫测，语气听不出喜怒，声音很柔和，“小骨可是觉得屠人满族很残忍吗？”　　花千骨闻言睁大眼睛肯定的说：“当然了。”。2d6cc4b2d139a53512fb8cbb3086ae2e　　欧阳少恭咪咪眼睛，“那如果这凶手确实是和这族里的人有着莫大的仇恨又该怎么看？如果这个凶手一开始并不想伤人性命，而是去取一续命的宝物，而这宝物原本就属于凶手，只是后来被这一族的人得来，凶手几番恳求却被决然拒之门外，凶手潜入村子里，当凶手打算带着宝物准备离开时却被阻拦，眼睁睁看着自己活命的机会失去，这杀身之仇又该怎么算？”。854d6fae5ee42911　　花千骨认真想了想，“小骨不知道，”花千骨为难的摇摇头，“小骨觉得凶手不对，又觉得族人也不对，小骨评价不出谁对谁错，”。df《》 @ Copyright of 晋江原创网 @　　花千骨抬头是有所感，疑惑的看着欧阳少恭，“长琴哥哥怎么知道得这么多呀？长琴哥哥知道凶手是谁吗？”。f495b6ab9dcf8d3b5c6e0b01《》 @ Copyright of 晋江原创网 @　　欧阳少恭伸手摸摸花千骨的脑袋，刚要开口，却听身体传来一个花千骨很熟悉的声音，声音里带着愤怒，“他当然知道，因为他就是那个屠村的凶手之一，欧阳少恭我说的对不对还是我应该叫你太子长琴！”。8b16ebc056ebe590b542eb《》 @ Copyright of 晋江原创网 @　　花千骨和欧阳少恭两人转身，身后百里屠苏手执焚寂剑红着眼死死的盯着欧阳少恭。　　“苏苏师兄？”花千骨吃惊的看着百里屠苏，“你怎么会在这里？”花千骨视线在两人之间游离，“你认识长琴哥哥？”。cea9109507cac《》 @ Copyright of 晋江原创网 @　　“小骨，过来，你怎么会和他在一起。”百里屠苏警惕的看着欧阳少恭示意花千骨到自己身后去。。c7b95aa99f《》 @ Copyright of 晋江原创网 @
插入书签　
作者有话要说：亲们别说我写欧阳写的多，他虽不是男主确是很重要的人物
手机网wap.jjwxc.net支持二维码阅读
↑返回顶部
第5章 第五章
作 者 推 文
作者加精评论
本文相关话题
以上显示的是最新的二十条评论，要看本章所有评论，