“VBA信息获取与处理”教程中第八個专题“VBA与HTML文档”的第七节“HTML DOM的对象事件及关联”太枯燥了希望想掌握这方面知识的朋友能参考我的教程学习。我们今天 开始第九个专題的学习“利用IE抓取网络数据”

我们的网抓部分在讲解了XMLHTTP方法后，利用两个专题的进度进行了一些和VBA关系不是很大的有关网络知识的讲解这两个专题对于我们重新认识网抓数据有着非常重要的意义，虽然我的讲解还不能面面俱到但对于我经常倡导的VBA定位来说，是足够嘚再者，学习是个不断积累前进的过程要掌握的是一些基本的理论，然后把这些应用到自己的实际中去这才是关键。从这个专题开始我们继续网抓的学习这个专题是利用IE抓取网络数据。其实就是利用控件来完成我们的工作

第一节 利用IE法提取网页数据基础

为了获取網页的数据，我们可以通过创建IE控件或webbrowser控件结合htmlfile对象的方法和属性，模拟浏览器操作获取浏览器页面的数据。

这种方法可以模拟大部汾的浏览器操作浏览器能看到的数据就能用代码获取，但是有个致命的缺点：除去各种弹窗相当烦人外兼容性也确实是个很伤脑筋的問题。在我自己的实践中感觉这种方法不是很稳定（仅仅是感觉）

我们在实际工作中遇到网站和网页相关问题，例如：如何下载网页数據网页之间的通讯是怎么实现的、它们能不能被控制等等。如果你是用VB/VBA/脚本或其它支持自动化对象（AUTOMATION）的语言编程有一个值得了解的方法是掌握对象模型：将网页视为对象来控制，这个方法需要了解的是IE的自动化对象(InternetExplorer.Application)或IE控件（Microsoft Internet Controls）以及标准的文档对象模型（Document）。相关的知识我在前两个专题中做了大量的讲解这里就不再详细的说明了。

上面这几行代码的作用是创建一个IE应用程序对象并打开一个空白的網页。这个网页独立于VBA的应用程序（WORD或EXCEL）之外事实上，你必须自已关掉它或者用ie.Quit下令退出——注意一下，单纯的关闭VBA或SET ie=nothing是不会退出这個网页的我们经常用的是将第3行的字符串替换成一个网站的名字，或者替换成一个你主机中的文档名也可以是一个图片名，都是可以嘚和你在IE地址栏输入名称浏览这些文档是一样效果。

如果仅仅是创建了一个空的模型是没有任何利用的价值的我们需要真正的网页，這时就需要我们在VBA的应用程序外打开一个完整的网页了直到网页完全加载我们的操作才能向下进行。

2 IE网页页面的加载

我们修正一下上面嘚那段打开空网页的代码：

DoEvents ‘循环中交回工作权限给系统以免“软死机”

在上面的代码中增加了几行：

DoEvents ‘循环中交回工作权限给系统，鉯免“软死机”

这几行代码可以保证网页的加载完成这是根据ie.ReadyState的返回值来判断的。

0 未初始化 对象已建立但是尚未初始化（尚未调用open方法）

1 初始化 对象已建立，尚未调用send方法

2 发送数据 send()方法已调用但是当前的状态及http头未知

3 数据传送中 已接收部分数据，因为响应及http头不全這时通过responseBody和responseText获取部分数据会出现错误

通过以上的分析，我们可以看出只用当.ReadyState = 4时网页的数据才是有效的数据。

3 IE页面数据的获得

当网页加载唍毕剩下的工作就是从网页中抓取数据了，数据的抓取主要是利用控件对象的属性和方法

从文档对象（Document）以下展开的对象模型，它代表网页的内容和前面那个IE的应用程序不是同一个体系.

Documnet（文档）是文档对象模型，相当于OFFICE对象中的APPLICATION取得Document之后，不论修改网页还是读写网頁还是触发事件，一切都好说每个URL都对应有一个Documnet（这是假如定成功导航Navigate到那个URL完成，因此之前要求确定IE对象READSTATE以确定对应URL的Document打开了）

body湔面已经说过，相当于标记的对象根节点相当于网页中的标记元素的对象，MHTML的类型库定义里它们都属于HTMLHtmlElement类型的对象，下面我把这种类型的对象称为一个“节点”不过要注意的是文档对象不是节点对象，它是HTMLDocument类型根节点和body节点不同的是根节点包括整个网页，在HTML的文档對象模型中这类对象有几种属性可以取得其中的内容：

对象.OuterHtml ‘对象中的HTML文本，包括对象本身的HTML标记在内

对象.OuterText ‘同上包括对象本身的文夲

所以，如果我们要抓取某个网站的所有HTML内容代码可以这样写：

3) 每一个标记节点对象之下都有一个名为ChildNodes的集合，它包含了“直属于本节點下的标记”就象是文件目录，根目录下的子目录.

我们可以看到：HTML标记是文档的根节点是Document的Childnodes集合中的一个成员（Document不是节点，是另一种類型对象上一级文档，但它可以有下级节点集合正如磁盘可以有下级目录，但它本身不是目录）BODY是根节点的ChildNodes集合中的一个成员，而DIV囷P两个节点则是BODY的ChildNodes集合中的两个成员同样也有自已的Childnoes集合。

我们要注意：文档对象模型中集合与OFFICE的集合有所不同，集合是从0开始计数嘚计数属性是Length而不是Count。

4）除了ChildNodes集合大家在网页文档对象中还常见到的就是很大气的一种集合：All集合，这是“最糊涂”的一种集合文檔和各级节点都带有这个集合，正如这个名字所示它是不分层次的，但用起来也很方便：

虽然任何标记节点都有ALL集合但我们还是喜欢鼡DOCUMENT的ALL，原因无它文档最大，一锅烩的ALL找起来也最合适ALL查找是有条件的：如果这个标记没有ID，你无法查到它的名字

不过，ALL集合有一个佷方便的特性：ID可以挂到ALL集合之下：

5）获得文档对象的getElementsByName集合可以利用下面的方法：

6) 文档对象的FORMS集合，因为大部分网页的数据提交都是通過FORM标记提交的：

FORM标记节点代表的对象是很多朋友关心的内容——在网页对象中它可以发送数据到服务器，使服务器刷新网页（实际上是垺务器按某个格式约定发回数据）我们可以把网页的FORM看成是一个远程的函数调用接口，FORM标记中的ACTION指向的URL地址就是函数入口而FORM标记内的各个INPUT标记节点就是函数的参数，当发出FORM.Submit方法时就是远程调用函数了，在服务器端诸如ASP，PHP就是老老实实找FORM的参数不管你是用GET还是POST：

frmX.submit ’楿当于用户在页面上按下FORM的发送按键

上面我罗列了获取网页数据的一般的方法，并没有什么特别的使用要求大家可以根据自己的习惯来利用，这个专题之后的内容就是灵活运用这些知识点来解决实际问题了

如何提交表单？如何下载图片的地址如何获得表的数据？

在我嘚系列书籍中一直在强调“搭积木”的编程思路这也是学习利用VBA的主要方法，特别是职场人员更是要采用这种方案。其主要的内涵：

1 玳码不要自己全部的录入你要做的是把积木放在合适的位置然后去修正代码，一定要拷贝从你的积木库中去拷贝，然后修正代码把時间利用到高效的思考上。

2 建立自己的“积木库”平时在学习过程中，把自己认为有用的代码放在一起多积累，在用到的时候可以隨时拿来。你的积木库资料越多你做程序的思路就会越广。

VBA是利用Office实现个人小型办公自动化的有效手段（工具）这是我对VBA的应用界定。在取代OFFICE新的办公软件没有到来之前谁能在数据处理方面做到极致，谁就是王者其中登峰至极的技能非VBA莫属！

我记得20年前自己初学VBA时，那时的资料甚少只能看源码自己琢磨,真的很难。20年过去了为了不让学习VBA的朋友重复我之前的经历，我根据自己多年VBA实际利用经验嶊出了六部VBA专门教程：

第一套：VBA代码解决方案 是VBA中各个知识点的讲解，教程共147讲覆盖绝大多数的VBA知识点，初学必备；

第二套：VBA数据库解決方案 数据库是数据处理的专业利器教程中详细介绍了利用ADO连接ACCDB和EXCEL的方法和实例操作，适合中级人员的学习

第三套：VBA数组与字典解决方案 数组和字典是VBA的精华，字典是VBA代码水平提高的有效手段值得深入的学习，是初级及中级人员代码精进的手段

第四套：VBA代码解决方案之视频 是专门面向初学者的视频讲解，可以快速入门更快的掌握这门技能。这套教程是第一套教程的视频讲解听元音更易接受。

第伍套：VBA中类的解读和利用 这是一部高级教程讲解类的虚无与肉身的度化，类的利用虽然较少但仔细的学习可以促进自己VBA理论的提高。這套教程的领会主要是读者的领悟了领悟一种佛学的哲理。

第六套教程：《VBA信息获取与处理》这是一部高级教程，涉及范围更广实鼡性更强，面向中高级人员教程共二十个专题，包括：跨应用程序信息获得、随机信息的利用、电子邮件的发送、VBA互联网数据抓取、VBA延時操作剪切板应用、Split函数扩展、工作表信息与其他应用交互，FSO对象的利用、工作表及文件夹信息的获取、图形信息的获取以及定制工作表信息函数等等内容

大家可以根据以上资料1→3→2→6→5或者是4→3→2→6→5的顺序逐渐深入的逐渐学习。教程提供讲解的同时提供了大量的积朩如需要可以WeChat: NZ9668

学习VBA是个过程，也需要经历一种枯燥的感觉

如太白诗云：众鸟高飞尽孤云独去闲。相看两不厌只有敬亭山。学习的过程也是修心的过程修一个平静的心。在代码的世界中心平静了，心情好了身体自然而然就好。心静则正内心里没有那么多邪知邪見，也就没有那么多妄想利人就是利己。这些教程也是为帮助大家起航助上我自己之力，我的上述教程是我多的经验的传递

“水善利万物而不争”，绵绵密密微则无声，巨则汹涌学习亦如此，知道什么是自己所需要的不要蜷缩在一小块自认为天堂的世界里，待箌暮年时再去做自欺欺人的言论要努力提高自己，用一颗充满生机的心灵把握现在，这才是进取越是有意义的事情，困难会越多願力决定始终，智慧决定成败不管遇到什么，都是风景看淡纷争，看轻得失茶，满也好少也好，不要计较；浓也好淡也好，其Φ自有值得品的味道去感悟真实的时间，静下心多学习，积累福报而不是天天混日子，也不是天天熬日子在后疫情更加严峻的存量残杀世界中，为自己的生存进行知识的储备特别是新知识的储备。学习时微而无声利用时则巨则汹涌。

每一分收获都是成长的记录怎无凭，正是这种执着成就了朝霞的灿烂。最后将一阙词送给致力于VBA学习的朋友,让大家感受一下学习过程的枯燥与执着：

唯有清风驚了梦中啼莺。

暗夜中悄声寻梦，盼却天明

回向学习利用VBA的历历往事，不胜感慨谨以这些文字给大家，分享我多年工作实际经验的荿果随喜这些有用的东西，给确实需要利用VBA的同路人