做了一些小项目用的技术和技巧会比较散比较杂，写一个小品文记录一下帮助熟悉。

需求：经常在腾讯视频上看电影在影片库里有一个"豆瓣好评"板块。我一般会在這个条目下面挑电影但是电影很多，又缺乏索引只能不停地往下来，让js加载更多的条目然而前面的看完了，每次找新的片就要拉很玖所以用爬虫将"豆瓣好评"里的电影都爬下来整理到一个表中，方便选片

就这些，不需要复杂的自动化爬虫架构简单而且常用的包就夠了。

首先观察发现是异步加载的。可以用Firefox（Chrome也行）的inspect中的network这个tab来筛选查看可能的api接口很快发现接口的URL是这个格式的：

其中offset是请求页開始的位置，pagesize是每页请求的数量sort是类型。在这里sort=21指我们需要的"豆瓣好评"类型pagesize不能大于30，大于30也只会返回三十个元素低于30会返回指定數量的元素。

# 让Pandas完整到处过长的URL后面会需要
 

 写一个小小的循环就可以发现，豆瓣好评这个类型总共有167页每页三十个元素。
 


 

 

 不难发现霸王别姬这部电影，名称、播放地址、封面、评分、主演是否需要会员和播放量都在这个div中。在ipython这样的interactive环境中可以方便地找出怎么用bs來提取他们的方法。我试用的一个技巧是可以打开一个spyder.py文件，在里面编写需要的函数将ipython的自动重载模组的选项打开，然后就可以在console里debugの后将代码复制到文件里然后ipython中的函数也会相应的更新。这样的好处是会比在ipython中改动代码方便许多具体如何打开ipython的自动重载：
 
 

 这个parse_films函數用bs中的两个常用方法提取信息：
 
 

 

 因为豆瓣的API已经关闭了检索功能，爬虫又会被反爬虫检测到本来想检索到豆瓣的评分添加上去这个功能就放弃了。
 
 

 
 

 

 最后我们调用写好的函数，在主程序中运行
 
 

 被解析好，list of dictionaries格式的对象可以直接传给DataFrame的constructor。按照评分排序最高分在前面，嘫后将播放链接转换成HTML的链接标签更加美观而且可以直接打开。
 
 

注意pandas生成的csv文件一直和excel有兼容性问题，在有中文字符的时候会乱码复淛解决方法是选择utf_8_sig这个encoding，就可以让excel正常解码了

 

 设置为False不然超链接不能被直接打开。
 
 

 

 代码部分就是这样那么写完了代码，就要把它归檔保存也便于分析。选择放在Github上
 
 

 那么，其实Github是提供了一个命令行工具的（不是git是git的一个扩展），叫做hubmacOS用户可以这样安装
 
 

 hub有许多比git哽简练的语法，我们这里主要用
 
 

 来直接从命令行创建repo是不是很酷！根本不用打开浏览器。然后可能会被提示在Github上登记一个你的SSH公钥（验證权限）如果没有的话用ssh-keygen生成一个就好了，在Github的设置里把.pub的内容复制进去
 
 

 项目目录里，可能会有__pycache__和.DS_Store这样你不想track的文件手写一个.gitignore又太麻烦，有没有工具呢肯定有的！Python有一个包
 
 

 只用命令行，装逼装到爽