寫(xiě)爬蟲(chóng)，要懂代碼嗎？No?。?！

2020-09-21 14:23 作者:軟件測(cè)試檸檬班Pro 0人讀過(guò) | 我要投稿

說(shuō)到爬蟲(chóng)，你想到了什么？

是不是想著，這是開(kāi)發(fā)人員寫(xiě)的代碼，生成一個(gè)軟件，然后執(zhí)行，就去訪問(wèn)某些網(wǎng)站，從網(wǎng)站上獲取特定的信息，然后把這些信息存儲(chǔ)下來(lái)。

如果你是這么想的，是不是覺(jué)得‘爬蟲(chóng)’很高大上，自己不懂得寫(xiě)代碼，想從網(wǎng)站上搞點(diǎn)數(shù)據(jù)下來(lái)，就會(huì)很難呢？

那今天，我就教你一招，不寫(xiě)代碼，速度、效率比寫(xiě)代碼還高的辦法，認(rèn)真學(xué)習(xí)下吧！

首先，確認(rèn)你要爬取的網(wǎng)站。如，我想了解前沿技術(shù)，我想爬取騰訊云沙龍視頻，

然后，你要確認(rèn)，想要爬取的信息。我想要獲取頁(yè)面中課題的基本信息，如，標(biāo)題、類(lèi)型、開(kāi)課時(shí)間、課程狀態(tài)等。

作為一個(gè)測(cè)試人員，或者有一定網(wǎng)絡(luò)知識(shí)基礎(chǔ)的同學(xué)，肯定就會(huì)想到，我可以通過(guò)瀏覽器的 F12，看下頁(yè)面接口請(qǐng)求信息，因?yàn)?，接口主要就是用?lái)傳遞數(shù)據(jù)的，我要的信息，很可能在某個(gè)接口中，就會(huì)有。

通過(guò)這個(gè)抓包，我們發(fā)現(xiàn)有如圖中的接口，返回了我們想要的信息。

接下來(lái)，我們就要想，用什么辦法提取到這些信息，并固化下來(lái)。

其實(shí)，對(duì)于測(cè)試人員，我們有很多現(xiàn)成的工具。大家平時(shí)做接口測(cè)試，都用什么工具？——Jmeter ! 是不是，相信很多同學(xué)都會(huì)用，今天我們的爬蟲(chóng)，就用 jmeter 來(lái)實(shí)現(xiàn)。

jmeter 寫(xiě) http 協(xié)議的接口請(qǐng)求，大家會(huì)嗎？

不會(huì)！不會(huì)的自己搬上小板凳，去找檸檬班的老師。

調(diào)通接口后，我們看下響應(yīng)結(jié)果是 JSON，就要分析 JSON 數(shù)據(jù)格式，分析出自己想要爬取下來(lái)的信息的 key

接下來(lái)，提取 JSON 中對(duì)應(yīng) key 的值

這個(gè) JSON 提取器中使用了一些特殊用法，如果大家看不懂，可以咨詢(xún)檸檬班老師，也可以在檸檬班的測(cè)試派網(wǎng)站中搜索文章學(xué)習(xí)。

前面大家看到，一個(gè)頁(yè)面有非常多個(gè)課程信息，那通過(guò)這個(gè) JSON 提取器，獲取的課程 id、標(biāo)題、名稱(chēng)、起始時(shí)間、狀態(tài)肯定也會(huì)返回多個(gè)值。要想把這些多值，固化下來(lái)，首先，我們肯定會(huì)想到要用循環(huán)，既然要固化下來(lái)，那肯定就會(huì)想到要寫(xiě)入文件，所以我們就會(huì)采用循環(huán)相關(guān)的控制器

固化到文件，這一步，估計(jì)很多同學(xué)都會(huì)頭痛！

因?yàn)?jmeter 本身并沒(méi)有提供運(yùn)行過(guò)程中的參數(shù)值保存到文件的功能，要想保存這些動(dòng)態(tài)參數(shù)值，可能需要寫(xiě)代碼，所以很多不懂代碼的，就頭痛了。

但是，

我們采用了數(shù)據(jù)庫(kù)嫁接法！

在 setup 線(xiàn)程組中，添加數(shù)據(jù)庫(kù)配置，采用 SQLite 數(shù)據(jù)庫(kù)，這個(gè)數(shù)據(jù)庫(kù)不需要安裝，直接就可以用，然后，再創(chuàng)建一張表，用于后續(xù)存儲(chǔ)我們爬取的信息，然后，就是在循環(huán)控制器中，把從接口中提取出來(lái)的數(shù)據(jù)，循環(huán)的寫(xiě)入數(shù)據(jù)庫(kù)表中，即可。