&&&&面对主题的网络爬虫程序
&面对主题的网络爬虫程序
面向对象的搜索引擎的网络爬虫程序
由于Web海量的信息处于不断的变化中，搜索引擎己经很难再为用户提供一个高质量的、全面并且更新及时的信息搜索服务，其局限性在于它试图索引全部Web信息并服务于所有主题的查询请求。相比之下，面向主题的搜索引擎只覆盖与特定主题相关的Web区域，这样它搜索的内容可以更深，搜索的周期可以更短，因此能满足用户对快速、准确的获取信息资源的要求。
本文首先介绍了面向主题搜索引擎系统开发的背景及意义，分析了系统开发的可行性，并对系统开发过程中所涉及到的相关理论知识进行简要的介绍，然后进行需求分析、总体设计和详细设计，得到系统所要实现的主要功能，绘制出系统的功能模块图并用程序流程图描述系统的各个模块的处理过程，而后进行系统的实现。
本系统实现了校内网信息搜索，添加关键词，发现主题资源信息，下载主题资源，用户检索等功能。由于本系统在下载网页时资源较少，因此用户检索出的结果较少。
若举报审核通过，可奖励20下载分
被举报人：
举报的资源分：
请选择类型
资源无法下载
资源无法使用
标题与实际内容不符
含有危害国家安全内容
含有反动色情等内容
含广告内容
版权问题，侵犯个人或公司的版权
*详细原因：
VIP下载&&免积分60元/年（1200次）
您可能还需要
Q.为什么我点的下载下不了，但积分却被扣了
A. 由于下载人数众多，下载服务器做了并发的限制。若发现下载不了，请稍后再试，多次下载是不会重复扣分的。
Q.我的积分不多了，如何获取积分？
A. 获得积分，详细见。
完成任务获取积分。
论坛可用分兑换下载积分。
第一次绑定手机，将获得5个C币，C币可。
关注并绑定CSDNID，送10个下载分
下载资源意味着您已经同意遵守以下协议
资源的所有权益归上传用户所有
未经权益所有人同意，不得将资源中的内容挪作商业或盈利用途
CSDN下载频道仅提供交流平台，并不能对任何下载资源负责
下载资源中如有侵权或不适当内容，
本站不保证本站提供的资源的准确性，安全性和完整性，同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
网络技术下载排行
您当前C币：0&&&可兑换 0 下载积分
兑换下载分:&
消耗C币:0&
立即兑换&&
兑换成功你当前的下载分为 。前去下载资源
你下载资源过于频繁，请输入验证码
如何快速获得积分？
你已经下载过该资源，再次下载不需要扣除积分
面对主题的网络爬虫程序
所需积分：5
剩余积分：0
扫描微信二维码精彩活动、课程更新抢先知
VIP会员，免积分下载
会员到期时间：日
剩余下载次数：1000
面对主题的网络爬虫程序
剩余次数：&&&&有效期截止到：
你还不是VIP会员VIP会员享免积分 . 专属通道极速下载
VIP下载次数已满VIP会员享免积分 . 专属通道极速下载，请继续开通VIP会员
你的VIP会员已过期VIP会员享免积分 . 专属通道极速下载，请继续开通VIP会员酷勤网 C 程序员的那点事！
当前位置： >
浏览次数：次
这次我的目标是写一个爬虫程序，获取网站每个月发行的Remic Prospectuses文件，具体到某年某月的URL是:
http://www.ginniemae.gov/
doing_business_with_ginniemae/investor_resources/prospectuses/Pages/
remic_prospectuses.aspx?YearDropDown=2013&MonthDropDown=March
如果有多页的内容，则需要点击操作，然后JavaScript生成页面，不然看不到其它页面内容，如:
javascript: __doPostBack('ctl00$m$g_e5_4c21_9a20_5a2b7d94350f','dvt_firstrow={11};dvt_startposition={}');
这个程序应该接受年、月参数，自动获取Remic清单，遇到需要点击操作才出来的页面也要能够处理。
2分析目标网页
目标页面URL是有一定规律的，年份是数字，模式是d+,而月份是英文各个月份的全拼，首字母大写。
对于具体页面的Remic文件源码格式类似:
&a href=&/doing_business_with_ginniemae/investor_resources/Prospectuses/ProspectusesLib/2013Mar21-037.pdf& target=&_blank&&
- Dated March 21, 2013
而对应的JavaScript操作源码,整理的类似有：
&a href=&javascript: __doPostBack('ctl00$m$g_e5_4c21_9a20_5a2b7d94350f','dvt_firstrow={11};dvt_startposition={}');&&
&a href=&javascript: __doPostBack('ctl00$m$g_e5_4c21_9a20_5a2b7d94350f','dvt_firstrow={1};dvt_startposition={}');&&
&a href=&javascript: __doPostBack('ctl00$m$g_e5_4c21_9a20_5a2b7d94350f','dvt_firstrow={21};dvt_startposition={}');&&
&a href=&javascript: __doPostBack('ctl00$m$g_e5_4c21_9a20_5a2b7d94350f','dvt_firstrow={31};dvt_startposition={}');&&
所幸在源码中找到定义:
&script type=&text/javascript&&
//&![CDATA[
var theForm = document.forms['aspnetForm'];
if (!theForm) {
theForm = document.aspnetF
function __doPostBack(eventTarget, eventArgument) {
if (!theForm.onsubmit || (theForm.onsubmit() != false)) {
theForm.__EVENTTARGET.value = eventT
theForm.__EVENTARGUMENT.value = eventA
theForm.submit();
所以，必须通过表单的形式进行POST方法提交，获取表单信息。
3grspider.py
通过Firebug可以获取到cURL命令行下载相应页面的命令，但具体做法会比较乱,通过模拟POST提交表单:
& 相关主题：读短文，完成练习。小爬虫　　那天，我正伏案写作，“丁”的一声，一枚绿豆大小的圆形物从天而降，落在桌面上。　　我停下笔，正想伸手去掂量那枝“小豆”，不料它却突然伸展成椭圆形状，这分明是一只小爬虫。　　那小爬虫仰躺在书桌上一个劲儿朝空中乱踢着。我一时童心大起，拿过尺子一量：五毫米。我用尺子轻轻一拨，希望将它弄近点，谁知剐碰到它的背壳，它立刻缩成一团。　　我好奇地看着它小心地展开身体。它那乳白色的小足不断地蹬着，聚集着力量使自己“庞大”的身躯翻转过来。但不知是用力不当还是别的原因，它只能平躺或是侧向某一边，却无法使整个身体翻转站立。虽然每次都以失败告终，但是它毫不气馁（něi），一阵激烈的努力过后，稍微停歇几分钟，便又开始使出浑身解（xiè）数（shù）来实现自己的愿望。我已不抱任何希望了。　　我揉了揉发胀的眼睛，如此脆弱的生命却具有如此强大的恒心与毅力是我始料不及的。　　我低下头来，令我惊奇的是，这只原本还仰躺在桌面上的小爬虫居然已经翻身站起，并在书桌上敏捷地爬着。1．从文中找出与下列意思相对应的词语。（1）使出全身的本事、手段。（　　　　）（2）开始时没有想到的。（　　　　）2．品读画“____”的句子，联系上下文回答问题。（1）我揉了一下发胀的眼睛，说明（　　）A．“我”视力不好。　　　B．“我”看得仔细。（2）“如此脆弱的生命”具体体现在_________、__________。3．“我”观察爬虫时心理在不断发生变化，正确的变化是（　　）A．好奇→不抱任何希望→惊奇B．不抱任何希望→好奇→惊奇4．这只小爬虫给了你什么启示？______________________________________________________________ - 跟谁学
在线咨询下载客户端关注微信公众号
搜索你想学的科目、老师试试搜索吉安
在线咨询下载客户端关注微信公众号&&&分类：读短文，完成练习。小爬虫　　那天，我正伏案写作，“丁”的一声，一枚绿豆大小的圆形物从天而降，落在桌面上。　　我停下笔，正想伸手去掂量那枝“小豆”，不料它却突然伸展成椭圆形状，这分明是一只小爬虫。　　那小爬虫仰躺在书桌上一个劲儿朝空中乱踢着。我一时童心大起，拿过尺子一量：五毫米。我用尺子轻轻一拨，希望将它弄近点，谁知剐碰到它的背壳，它立刻缩成一团。　　我好奇地看着它小心地展开身体。它那乳白色的小足不断地蹬着，聚集着力量使自己“庞大”的身躯翻转过来。但不知是用力不当还是别的原因，它只能平躺或是侧向某一边，却无法使整个身体翻转站立。虽然每次都以失败告终，但是它毫不气馁（něi），一阵激烈的努力过后，稍微停歇几分钟，便又开始使出浑身解（xiè）数（shù）来实现自己的愿望。我已不抱任何希望了。　　我揉了揉发胀的眼睛，如此脆弱的生命却具有如此强大的恒心与毅力是我始料不及的。　　我低下头来，令我惊奇的是，这只原本还仰躺在桌面上的小爬虫居然已经翻身站起，并在书桌上敏捷地爬着。1．从文中找出与下列意思相对应的词语。（1）使出全身的本事、手段。（　　　　）（2）开始时没有想到的。（　　　　）2．品读画“____”的句子，联系上下文回答问题。（1）我揉了一下发胀的眼睛，说明（　　）A．“我”视力不好。　　　B．“我”看得仔细。（2）“如此脆弱的生命”具体体现在_________、__________。3．“我”观察爬虫时心理在不断发生变化，正确的变化是（　　）A．好奇→不抱任何希望→惊奇B．不抱任何希望→好奇→惊奇4．这只小爬虫给了你什么启示？______________________________________________________________读短文，完成练习。小爬虫　　那天，我正伏案写作，“丁”的一声，一枚绿豆大小的圆形物从天而降，落在桌面上。　　我停下笔，正想伸手去掂量那枝“小豆”，不料它却突然伸展成椭圆形状，这分明是一只小爬虫。　　那小爬虫仰躺在书桌上一个劲儿朝空中乱踢着。我一时童心大起，拿过尺子一量：五毫米。我用尺子轻轻一拨，希望将它弄近点，谁知剐碰到它的背壳，它立刻缩成一团。　　我好奇地看着它小心地展开身体。它那乳白色的小足不断地蹬着，聚集着力量使自己“庞大”的身躯翻转过来。但不知是用力不当还是别的原因，它只能平躺或是侧向某一边，却无法使整个身体翻转站立。虽然每次都以失败告终，但是它毫不气馁（něi），一阵激烈的努力过后，稍微停歇几分钟，便又开始使出浑身解（xiè）数（shù）来实现自己的愿望。我已不抱任何希望了。　　我揉了揉发胀的眼睛，如此脆弱的生命却具有如此强大的恒心与毅力是我始料不及的。　　我低下头来，令我惊奇的是，这只原本还仰躺在桌面上的小爬虫居然已经翻身站起，并在书桌上敏捷地爬着。1．从文中找出与下列意思相对应的词语。（1）使出全身的本事、手段。（　　　　）（2）开始时没有想到的。（　　　　）2．品读画“____”的句子，联系上下文回答问题。（1）我揉了一下发胀的眼睛，说明（　　）A．“我”视力不好。　　　B．“我”看得仔细。（2）“如此脆弱的生命”具体体现在_________、__________。3．“我”观察爬虫时心理在不断发生变化，正确的变化是（　　）A．好奇→不抱任何希望→惊奇B．不抱任何希望→好奇→惊奇4．这只小爬虫给了你什么启示？______________________________________________________________科目:难易度:最佳答案1．（1）浑身解数　（2）始料不及2．（1）B　（2）只有绿豆大小　五毫米3．A4．无论做什么事，只要有恒心、有毅力就能成功。解析基础试题拔高试题热门知识点最新试题
关注我们官方微信关于跟谁学服务支持帮助中心