Excel VBA網(wǎng)抓教程【你學(xué)得會】

admin

課程視頻索引
51cto播放地址：http://edu.51cto.com/course/course_id-5531.html
網(wǎng)易云學(xué)堂播放地址：http://study.163.com/course/courseMain.htm?courseId=1002879003
騰訊課堂播放地址：https://ke.qq.com/course/122034#term_id=100134258
淘寶教育播放地址：http://i.xue.taobao.com/detail.htm?courseId=51073

講師簡介:阿航

1、擅長講授Access、Excel、Word、PPT等辦公應(yīng)用和vba開發(fā)等相關(guān)課程

2、Office中國金牌講師，從事企業(yè)信息系統(tǒng)解決方案專業(yè)認(rèn)識，善于Access等Office軟件和企業(yè)級管理系統(tǒng)的開發(fā)，開發(fā)過多套商業(yè)管理軟件

3、擁有多年C#，VB和VBA開發(fā)經(jīng)驗和教學(xué)經(jīng)驗

國內(nèi)首套系統(tǒng)化專業(yè)化的Excel VBA網(wǎng)抓培訓(xùn)視頻。

網(wǎng)抓就是“網(wǎng)頁抓取”，不是“撒網(wǎng)抓魚”，網(wǎng)抓不需要打開瀏覽器，即可直接獲取網(wǎng)頁的內(nèi)容。根據(jù)自己的需要抓取網(wǎng)頁內(nèi)相關(guān)的信息，綜合抓取到的內(nèi)容，對自己效率和產(chǎn)品進(jìn)行提升和改善，從而提升競爭力。

楊老師通過《Excel VBA網(wǎng)抓教程【你學(xué)得會】》的課程教你如何進(jìn)行網(wǎng)抓。包括web控件，QueryTable，公式，系統(tǒng)組件等方法去抓取數(shù)據(jù)，以實例帶動，逐步深入。

此網(wǎng)抓教程同時適用于所有用VBA開發(fā)的程序中

課程目標(biāo)：

學(xué)會使用Excel VBA進(jìn)行網(wǎng)絡(luò)抓取，善于利用網(wǎng)絡(luò)的資源，抓取有用信息，提高工作效率；同時利用有效的信息，知己知皮，提升效益。

適用人群：

所有喜歡Excel的并且對網(wǎng)抓有一定興趣的學(xué)員，最好有一定的VBA基礎(chǔ)。

咨詢方式：
如遇問題或者想深入學(xué)習(xí)。可咨詢QQ：1918333016

課程視頻詳細(xì)索引請看下面跟貼第二貼
如需要購買本地高清版，可以聯(lián)系qq：1918333016
Excel培訓(xùn)群  274435496

---

更多學(xué)習(xí)資源：
美女MVP教你輕松學(xué)習(xí)Excel VBA                     http://www.mzhfr.cn/thread-120942-1-1.html
Excel2016培訓(xùn)實戰(zhàn)視頻課程                             http://www.mzhfr.cn/thread-121113-1-1.html
Excel圖表實戰(zhàn)視頻課程【你學(xué)得會】                http://www.mzhfr.cn/thread-121141-1-1.html
Excel公式入門實戰(zhàn)視頻課程【你學(xué)得會】         http://www.mzhfr.cn/thread-121268-1-1.html
Excel數(shù)據(jù)透視表實戰(zhàn)視頻課程【你學(xué)得會】     http://www.mzhfr.cn/thread-121316-1-1.html
Excel條件格式實戰(zhàn)視頻課程【你學(xué)得會】         http://www.mzhfr.cn/thread-121370-1-1.html


最全的Excel Access ppt vsto 等Office 培訓(xùn)教程、在線幫助、編程手冊，一網(wǎng)打盡（必看）
http://www.mzhfr.cn/thread-120931-1-1.html

admin

第一課時：初識網(wǎng)頁抓取
課時介紹：這節(jié)課開始講解vba網(wǎng)抓的內(nèi)容，首先了解整個課程大綱：什么是網(wǎng)抓（網(wǎng)頁抓�。�、需要什么知識（html，http，編程，josn，正則）、網(wǎng)抓的流程（網(wǎng)址，請求，響應(yīng)請求，分析處理數(shù)據(jù)）、網(wǎng)抓的方法（系統(tǒng)組件，web控件，querytable，公式）、課程的結(jié)構(gòu)（以實例帶動，逐步深入）、版本如何選擇等基本問題。
點擊播放

第二課時：簡單的網(wǎng)抓實例（1）
課時介紹：這節(jié)課講網(wǎng)抓的實例應(yīng)用。先對網(wǎng)抓有個感性的認(rèn)識，主要是根據(jù)手機號來獲取歸屬地，然后寫成自定義函數(shù)。詳細(xì)分析這個函數(shù)的具體代碼的含義。
點擊播放

第三課時：簡單的網(wǎng)抓實例（2）
課時介紹：接著上節(jié)課講解剩下的代碼。解釋一下網(wǎng)抓的原理（發(fā)送請求到相關(guān)接口，返回得到的結(jié)果，最后就是處理字符串），同時要注意一下，網(wǎng)抓是有時效性的。
點擊播放

第四課時：XmlHttp屬性和方法
課時介紹：詳細(xì)講解XmlHttp的內(nèi)容，XMLHttp是早期用于遠(yuǎn)程數(shù)據(jù)庫管理的，主要是傳送xml格式數(shù)據(jù)的超文本傳輸協(xié)議。綁定方式可以分為直接引用和后期綁定，最后介紹幾個屬性和方法：responseBody，responseText，readyState屬性；open，send，setRequestHeader，getResponseHeader方法
點擊播放

第五課時：百度搜索結(jié)果（1）
課時介紹：這節(jié)課結(jié)合一下上節(jié)課講的xmlhtml的屬性和方法來講一個應(yīng)用：百度搜索的結(jié)果。通過書寫百度網(wǎng)址，可以得到對應(yīng)的結(jié)果，這類請求屬于GET方式http://具體網(wǎng)址?參數(shù)名1=值1?&參數(shù)名2=值2.還有一種POST方式，參數(shù)寫在發(fā)送請求中， 可以提交更多的數(shù)據(jù)。
點擊播放

第六課時：百度搜索結(jié)果（2）
課時介紹：上節(jié)課講了百度搜索獲得結(jié)果的數(shù)目，這節(jié)課繼續(xù)講得到結(jié)果的列表。
點擊播放

第七課時：百度搜索結(jié)果（3）
課時介紹：接著上節(jié)課內(nèi)容，我們獲取標(biāo)題和鏈接。最后分析網(wǎng)抓得到的數(shù)據(jù)，處理網(wǎng)抓得到的數(shù)據(jù)
點擊播放

第八課時：html基礎(chǔ)知識
課時介紹：這節(jié)課講一下關(guān)于html的內(nèi)容，html是用于描述網(wǎng)頁的一種語言，全名是超文本標(biāo)記語言，它不是編程語言，沒有編程邏輯結(jié)構(gòu)，由瀏覽器來解析，有一整套標(biāo)記標(biāo)簽來描述網(wǎng)頁。標(biāo)簽有尖括號包圍關(guān)鍵詞，大部分是成對出現(xiàn)的，也有單獨出現(xiàn)的。標(biāo)簽還能相互嵌套
點擊播放

第九課時：常見的html標(biāo)簽（1）
課時介紹：這節(jié)課講常用的標(biāo)簽，包括標(biāo)題標(biāo)簽，文本標(biāo)簽，超鏈接標(biāo)簽，圖片標(biāo)簽，表格標(biāo)簽，列表標(biāo)簽。先講前面3個，h1,h2等標(biāo)題大小標(biāo)簽，p分段標(biāo)簽，a鏈接標(biāo)簽
點擊播放

第十課時：常見的html標(biāo)簽（2）
課時介紹：這節(jié)課繼續(xù)講標(biāo)簽，圖片標(biāo)簽img ，img標(biāo)簽沒有結(jié)束標(biāo)簽。表格標(biāo)簽相關(guān)的有表格table，行tr，單元格td，標(biāo)題th。其中還有一些屬性，比如邊框大小border，邊距cellpadding。還有列表標(biāo)簽：無序列表：ol 和有序列表 ul
點擊播放

第十一課時：獲取外網(wǎng)IP引發(fā)的事情（1）
課時介紹：前面插著講了關(guān)于html相關(guān)內(nèi)容，這節(jié)課繼續(xù)講一個例子，此實例會引發(fā)一些事情。首先我們需要先了解一下網(wǎng)址來源，IP地址分為外網(wǎng)和內(nèi)網(wǎng)。內(nèi)網(wǎng)可以用cmd命令ipconfig獲取，外網(wǎng)可以訪問其他網(wǎng)址提供的信息。
點擊播放

第十二課時：獲取外網(wǎng)IP引發(fā)的事情（2）
課時介紹：上節(jié)課我們講了獲取外網(wǎng)地址會引發(fā)轉(zhuǎn)碼的問題。這里我們講一下處理方法，用responseBody結(jié)合strconv轉(zhuǎn)碼和用ADODB.stream轉(zhuǎn)碼。普通的字符串函數(shù)處理，易用，不靈活，效率不高；使用正則表達(dá)式處理，難用，靈活，效率高。
點擊播放

第十三課時：vba正則表達(dá)式（1）
課時介紹：vba正則表達(dá)式是難點，但是用起來會非常方便。首先看一下如何創(chuàng)建正則表達(dá)式。正則表達(dá)式是一種高效率、強大的字符串處理對象，設(shè)定一串匹配文字，去查找對應(yīng)的結(jié)果�？芍苯右�用和后期綁定。在看看幾個基本屬性和方法：Global，IgnoreCase，Multiline，Pattern，execute，replace,test
點擊播放

第十四課時：vba正則表達(dá)式（2）
課時介紹：vba正則表達(dá)式最重要的就是表達(dá)式。這里我們引出元字符的概念，是正則表達(dá)式的語言。如點號（.）匹配除換行符之外的任意字符；\d匹配數(shù)字；\D匹配非數(shù)字；\w匹配數(shù)字、大小寫字母和下劃線等
點擊播放

第十五課時：vba正則表達(dá)式（3）
課時介紹：上節(jié)課講過了元字符，這節(jié)課講限定符。用來控制匹配的數(shù)量和位置。用得比較多的有5個：^匹配開頭；$匹配結(jié)尾；*匹配前面字符至少0次，相當(dāng)于{0,}；+匹配前面字符至少1次，相當(dāng)于{1,}；?匹配前面字符至多1次，相當(dāng)于{0,1}。
點擊播放

第十六課時：vba正則表達(dá)式（4）
課時介紹：前面講了元字符和限定符，但是也不能完全滿足各種情況，這里講一下多選結(jié)構(gòu)：提供多種選擇的方案。比如(x|y|abc)匹配|之間其中任意一組；[abc123]匹配[]之間任意一個字符；[a-z]匹配全部小寫字母。
點擊播放

第十七課時：vba正則表達(dá)式（5）
課時介紹：前面講了一些概念，有涉及到斜杠“\” 這些正則表達(dá)式的特殊字符。那么如果想匹配\.[]等這些字符呢？這時我們需要在前面再加斜杠“\”轉(zhuǎn)義。如"\\" 其意義為單個斜杠"\"
點擊播放

第十八課時：正則表達(dá)式匹配百度搜索（1）
課時介紹：前面我們講了獲取百度搜索結(jié)果，主要是通過Get的方法來書寫網(wǎng)址�，F(xiàn)在用正則表達(dá)式來處理一下。主要也是兩個方面的內(nèi)容：獲取搜索結(jié)果數(shù)量，獲取每個條目的標(biāo)題和鏈接
點擊播放

第十九課時：正則表達(dá)式匹配百度搜索（2）
課時介紹：接著上節(jié)課的內(nèi)容，繼續(xù)講解用正則表達(dá)式匹配百度搜索結(jié)果。這里講一下我們利用在線工具輔助分析。搜索“在線正則表達(dá)式”即可找到，能方便處理很多表達(dá)式。
點擊播放

第二十課時：獲取北京時間引發(fā)的問題（1）
課時介紹：今天會繼續(xù)講一個實例：獲取北京時間。輸出結(jié)果，發(fā)現(xiàn)未找到數(shù)據(jù)：該網(wǎng)頁是異步的（采用webserver）,數(shù)據(jù)被隱藏了（分析js代碼）
點擊播放

admin

第二十一課時：獲取北京時間引發(fā)的問題（2）
課時介紹：這節(jié)課我們繼續(xù)處理獲取北京時間引發(fā)問題的。多次輸出結(jié)果，發(fā)現(xiàn)數(shù)據(jù)未變動：緩存了。1可以Get請求，URL多加一個隨機參數(shù)；2設(shè)置頭信息，申明不要緩存；3用winhttp代替Xmlhttp
點擊播放


第二十二課時：Fiddler安裝和使用
課時介紹：這節(jié)課講一個相當(dāng)有用的網(wǎng)抓工具：Fiddler。它是一個http協(xié)議調(diào)試代理工具，它可以抓取http數(shù)據(jù)包，得到相關(guān)的請求和響應(yīng)等信息，主要用于調(diào)試和抓包。安裝的時候需要有.net框架
點擊播放

第二十三課時：Fiddler分析IP138
課時介紹：這節(jié)課開始結(jié)合Fiddler這個工具來做些實例，先來分析一下IP138這個網(wǎng)站。前面我們說過網(wǎng)抓有時效性。通過這個工具，我們可以快速地抓取到具體的地址
點擊播放

第二十四課時：網(wǎng)抓天氣預(yù)報（1）
課時介紹：這節(jié)課開始，我們會花多節(jié)課的時候來講一下天氣預(yù)報的網(wǎng)站。天氣預(yù)報有現(xiàn)成接口，本實例直接抓取“中國天氣網(wǎng)”的數(shù)據(jù)。通過上節(jié)課講的fiddler工具結(jié)合，很快就能取得結(jié)果了
點擊播放

第二十五課時：網(wǎng)抓天氣預(yù)報（2）
課時介紹：上節(jié)課簡單講了天氣預(yù)報如何獲取數(shù)據(jù)進(jìn)行網(wǎng)抓分析。取到數(shù)據(jù)后，我們可以用代碼處理，用xmlHttp 抓取數(shù)據(jù)，用RegExp匹配數(shù)據(jù)。
點擊播放

第二十六課時：網(wǎng)抓天氣預(yù)報（3）
課時介紹：接著上節(jié)課的內(nèi)容，繼續(xù)用正則表達(dá)式去處理數(shù)據(jù)。最后就是整理城市代碼表，把結(jié)果放到表格上。這樣我們的網(wǎng)抓天氣預(yù)報就做好了。
點擊播放

第二十七課時：快遞查詢（防盜鏈和JSON）（1）
課時介紹：由于部分學(xué)員對Fiddler還不是很熟悉。這里再舉一個實例說明一下，其中會加進(jìn)防盜鏈和JSON的說明。實例我們選擇了快遞單號查詢。通過單號查詢快遞的信息和狀態(tài)�？爝f查詢有現(xiàn)成接口（需要注冊等）本實例直接抓取“快遞100”的數(shù)據(jù)
點擊播放

第二十八課時：快遞查詢（防盜鏈和JSON）（2）
課時介紹：上節(jié)課講到防盜鏈。有的網(wǎng)站為了流量，或者防止別人盜用等原因。會采取防盜鏈。防盜鏈有很多方式：來源網(wǎng)址，cookies等，下面我們講講如何跳過防盜鏈去獲取數(shù)據(jù)。
點擊播放

第二十九課時：快遞查詢（防盜鏈和JSON）（3）
課時介紹：上節(jié)課講的JSON的內(nèi)容，Json的解釋方式有：有JavaScript解析，自己寫代碼解析和用其他的代碼解析。這節(jié)課講一下具體是如何解釋的。
點擊播放

第三十課時：快遞查詢（防盜鏈和JSON）（4）
課時介紹：前面已經(jīng)把整個快遞查詢的內(nèi)容講過了。包括網(wǎng)抓分析，防盜鏈處理，Json解析。最后一個步驟就是程序優(yōu)化了。把整理好的內(nèi)容放到表格上
點擊播放

第三十一課時：中英互譯（POST提交數(shù)據(jù)）（1）
課時介紹：前面我們講的都是GET請求方式，這節(jié)課我們講講POST提交數(shù)據(jù)。這里以中英互譯這個實例為基礎(chǔ)展開。我們使用有道翻譯，抓取其數(shù)據(jù)。使用POST提交不同于GET提交（數(shù)據(jù)寫在URL上），而且 數(shù)據(jù)更安全，數(shù)據(jù)沒有限制。
點擊播放

第三十二課時：中英互譯（POST提交數(shù)據(jù)）（2）
課時介紹：前面基本通過fiddler工具來抓取到數(shù)據(jù)了。也了解到POST和GET提交方式的區(qū)別。這里我們再優(yōu)化一下，POST數(shù)據(jù)提交有不同的方案，設(shè)置Content-Type和消息編碼。
點擊播放

第三十三課時：登錄和管理（1）
課時介紹：這節(jié)課講登錄和管理，我們通過前面學(xué)習(xí)的知識來登錄一個網(wǎng)站，登錄后再去獲取其他數(shù)據(jù)。再有些操作需要登錄之后才可以操作的。我們通過登錄多米音樂網(wǎng)站來編輯歌單這個實例來講解一下。
點擊播放

第三十四課時：登錄和管理（2）
課時介紹：接著上節(jié)課的內(nèi)容，來繼續(xù)講解網(wǎng)站登錄。網(wǎng)站本質(zhì)就是數(shù)據(jù)的操作�？蛻舳耍和ㄟ^訪問鏈接，請求數(shù)據(jù)。服務(wù)端：后臺處理請求，返回數(shù)據(jù)。
點擊播放

第三十五課時：利用Cookie繞過登錄
課時介紹：上節(jié)課講了用POST的方式直接提交用戶名登錄。這節(jié)課我們講一下用cookie如何繞過登錄。http協(xié)議是無狀態(tài)的，服務(wù)器不知道客戶端干嘛，只認(rèn)提交的數(shù)據(jù)。登錄之后，在客戶端留了標(biāo)記（cookie）之后再喝其他數(shù)據(jù)一起提交，判斷是否登錄了。所以我們可以用cookie欺騙來登錄
點擊播放

第三十六課時：網(wǎng)抓其他資源（下載文件）
課時介紹：這節(jié)課要補充講一個內(nèi)容，如何去網(wǎng)抓其他資源文件（下載文件）。網(wǎng)抓不止可以抓取文字，還可以抓取圖片，其他文件等。文件都是二進(jìn)制形式保存，用responseBody屬性得到二進(jìn)制六
點擊播放

第三十七課時：IE控件抓取淘寶搜索結(jié)果（1）
課時介紹：這節(jié)課開始講IEweb控件抓取數(shù)據(jù)，以抓取淘寶搜索結(jié)果為實例。如果用xmlhttp和winhttp來抓取淘寶的頁面。抓取到的是服務(wù)器返回來的數(shù)據(jù)。而很多數(shù)據(jù)都隱藏在js后面。
點擊播放

第三十八課時：IE控件抓取淘寶搜索結(jié)果（2）
課時介紹：這節(jié)課正式講解用IE Web控件抓取淘寶搜索結(jié)果，IEWebBrowser控件是一個瀏覽器，完整的一個執(zhí)行過程。非常方便地抓取到搜索結(jié)果
點擊播放

第三十九課時：IE控件抓取淘寶搜索結(jié)果（3）
課時介紹：繼續(xù)完善IE控件抓取淘寶搜索結(jié)果，講到正則表達(dá)式匹配的內(nèi)容。整理處理結(jié)果，優(yōu)化excel表格，改善搜索窗體。
點擊播放

第四十課時：IE控件登錄郵箱（1）
課時介紹：有的網(wǎng)站登錄是比較麻煩的，需要用到IE控件來登錄。這節(jié)課主要以登錄郵箱為實例。IE WebBrowser控件最大不同就是可以執(zhí)行js代碼
點擊播放

第四十一課時：IE控件登錄郵箱（2）
課時介紹：上節(jié)課簡單的講了整個登錄流程。但是事例還沒有完全講。這里要注意一下獲取頁面代碼為window.Document.Body.innerHTML ,獲取頁面文本W(wǎng)indow.Document.Body.innerText
點擊播放

第四十二課時：QueryTable處理Table標(biāo)簽
課時介紹：這節(jié)課講QueryTable處理Table標(biāo)簽。Table標(biāo)簽是顯示表格的標(biāo)簽，從html代碼看，處理比較復(fù)雜，可以用querytable對象處理�？梢圆挥脤懘�碼，直接刷新數(shù)據(jù)。可以通過菜單創(chuàng)建querytable，或者整個操作錄制成宏。
點擊播放

第四十三課時：WebService網(wǎng)抓公式
課時介紹：最后一節(jié)網(wǎng)抓的課程。主要講一套WebService的網(wǎng)抓公式。從excel2013開始加入了網(wǎng)絡(luò)公式，webService 抓取某個鏈接的數(shù)據(jù)；filterXML 解析XML格式的數(shù)據(jù)；EnCodeurl 返回字符URL編碼。
點擊播放

purplerose

目錄不錯，剛聽了一節(jié)阿航的講課，有點短，還沒有聽出內(nèi)容提要就結(jié)束了