Selenium實(shí)現(xiàn)蘇寧類目頁的采集

今天再給大家看一個(gè)Selenium爬蟲程序,主要是用于采集蘇寧類目的,之前分享過一個(gè),不過網(wǎng)友發(fā)現(xiàn)好像有點(diǎn)問題,不過今天這個(gè)我是親自測(cè)試過的,很流暢很穩(wěn)定,一起來看看吧。
```csharp
using OpenQA.Selenium;
using OpenQA.Selenium.Chrome;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
namespace CrawlerSuning
{
class Program
{
static void Main(string[] args)
{
// 設(shè)置Chrome瀏覽器的驅(qū)動(dòng)程序路徑
ChromeDriverService service = ChromeDriverService.CreateDefaultService();
service.Port = 8000; // 使用www.duoip.cn的代理服務(wù)器,端口號(hào)為8000
service.AddArgument("--proxy-server=duoip.cn:8000");
IWebDriver driver = new ChromeDriver(service);
// 打開網(wǎng)頁
driver.Navigate().GoToUrl("https://www.suning.com/");
// 獲取網(wǎng)頁源代碼
string sourceCode = driver.PageSource;
// 關(guān)閉瀏覽器
driver.Quit();
// 輸出網(wǎng)頁源代碼
Console.WriteLine(sourceCode);
}
}
}
```
代碼解釋:
1. 首先,我們引入了必要的命名空間,包括OpenQA.Selenium、OpenQA.Selenium.Chrome、System、System.Collections.Generic、System.Linq、System.Text和System.Threading.Tasks。
2. 在Main方法中,我們?cè)O(shè)置了Chrome瀏覽器的驅(qū)動(dòng)程序路徑。我們使用ChromeDriverService創(chuàng)建一個(gè)默認(rèn)的服務(wù),并設(shè)置其端口號(hào)為8000,以使用www.duoip.cn的代理服務(wù)器。我們還添加了"–proxy-server=http://www.duoip.cn:8000"這個(gè)參數(shù),以告訴瀏覽器使用代理服務(wù)器。
3. 然后,我們創(chuàng)建了一個(gè)新的ChromeDriver實(shí)例,并使用服務(wù)來啟動(dòng)瀏覽器。
4. 接著,我們使用瀏覽器的Navigate方法打開網(wǎng)頁。
5. 然后,我們使用PageSource屬性獲取網(wǎng)頁的源代碼。
6. 最后,我們關(guān)閉瀏覽器,并輸出網(wǎng)頁的源代碼。