使用Faraday庫采集微博圖片

之前我們寫過一個微博采集程序,不是特別難,那么有朋友想讓我用Faraday庫來寫一個微博的爬蟲程序,還要用Ruby來采集微博的圖片。果然,不費吹灰之力,它來了,一起來學習一下吧。
```ruby
require 'faraday'
require 'nokogiri'
proxy_host = 'https://www.duoip.cn/get_proxy'
proxy_port = 8000
# 創(chuàng)建一個Faraday實例,設(shè)置代理
faraday = Faraday.new do |faraday|
faraday.request :proxy, proxy_host, proxy_port
end
# 構(gòu)建請求URL
url = 'https://weibo.com/'
# 發(fā)送GET請求
response = faraday.get url
# 使用Nokogiri解析響應內(nèi)容
doc = Nokogiri::HTML(response.body)
# 遍歷文檔中的所有img標簽
doc.css('img').each do |img|
# 獲取img標簽的src屬性
src = img['src']
# 如果src屬性不為空,則打印該圖片的URL
puts src if src
end
```
那么上面的代碼呢,首先引入了Faraday和Nokogiri庫,然后創(chuàng)建了一個Faraday實例,并設(shè)置了代理。接著構(gòu)建了請求的URL,發(fā)送了GET請求,并使用Nokogiri解析了相應內(nèi)容。最后,遍歷了文檔中的所有img標簽,并打印出了img標簽的src屬性(即圖片的URL)。注意,如果src屬性為空,則不會打印任何內(nèi)容。希望這個程序能幫助你完成任務(wù)!