整合 · 自動化與擷取
搭配 Scrapy 使用 HProxy。
讓每個 Scrapy 請求都經由 HProxy 住宅出口送出。
開始使用閱讀完整指南
- 3 個步驟
- 可用的程式碼
- HTTP 與 SOCKS5
- 登入資訊放在代理網址中
Setup
在 Scrapy 中設定 HProxy
- 1
透過每個請求的 meta 字典設定代理,或在 downloader middleware 中全域設定。
- 2
把你的登入資訊放在代理網址中,主機與連接埠來自控制台。
- 3
等 IP 池承擔起負載之後再提高 CONCURRENT_REQUESTS,在那之前別提高。
值得知道
若是整個專案,請在自訂的 HttpProxyMiddleware 中設定代理,不必逐一請求設定。
這裡顯示的主機、連接埠與登入資訊只是格式;你確切的值就在你的控制台上,可以直接複製。
Scrapy,搭配 HProxy
# in your spider
def start_requests(self):
yield scrapy.Request(
"https://ipinfo.io/json",
meta={"proxy": "http://user-country-us:[email protected]:8080"},
)Scrapy 個問題
常見問題
在 Scrapy 專案中,代理應該設定在哪裡?
快速的工作逐一請求設定就可以,若是整個專案,以 HttpProxyMiddleware 為基礎的自訂 middleware 才是正確的地方。集中設定代表每個 spider 都會繼承它,而你只需在一個檔案中修改端點,不必在你建立的每個請求中修改。
如何在 Scrapy 中輪換代理?
使用閘道代理時,你不必這麼做:IP 池會在同一個不變的端點後面,為每個請求分配不同的出口。如果你自己管理一份個別位址的清單,常見的做法是用 middleware 為每個請求分配一個位址,不過要達到同樣的結果,需要動的地方更多。
Scrapy 的並行設定與代理限制如何互相影響?
會直接影響,而且值得刻意設定。Scrapy 的並行請求設定決定了你一次推送多少流量,而透過太少位址推送高並行量,會比依序執行更快觸發依位址計算的速率限制。並行量與 IP 池大小必須一起調整。
在 Scrapy 中我還應該遵守 robots.txt 嗎?
Scrapy 預設會遵守它,而這個預設值值得保留。被禁止的路徑正是任何正當用途都不會請求的地方,所以忽略這個檔案是讓位址被標記最可靠的方式之一,更不用說這本身就是不好的做法。
隨時為你準備好。
你的控制台只要十秒就到。不用業務電話,免訂閱,沒有最低金額。

