ZH
開始使用

整合 · 自動化與擷取

搭配 Puppeteer 使用 HProxy。

使用 Puppeteer 與 page.authenticate,讓無頭 Chrome 經由 HProxy 代理執行。
  • 3 個步驟
  • 可用的程式碼
  • HTTP 與 SOCKS5
  • 登入資訊放在代理網址中

為什麼需要代理

為什麼要搭配 Puppeteer 使用代理

Puppeteer 從 Node 操控無頭(或有介面)的 Chrome,是 JavaScript 世界中大量渲染擷取與自動化測試的首選。

從資料中心 IP 執行的無頭 Chrome,是網站一眼就能認出的指紋。住宅出口消除了這個破綻中網路的那一半,讓網站評判的是瀏覽器的行為。

Setup

在 Puppeteer 中設定 HProxy

  1. 1

    以 --proxy-server 啟動 Chrome,指向你的主機與連接埠。

  2. 2

    因為代理需要登入,請在瀏覽頁面之前,用你的使用者名稱與密碼呼叫 page.authenticate()。

  3. 3

    照常瀏覽;整個頁面載入現在都會經由代理。

值得知道

使用者名稱與密碼要透過 page.authenticate() 傳入,--proxy-server 參數不接受它們。

這裡顯示的主機、連接埠與登入資訊只是格式;你確切的值就在你的控制台上,可以直接複製。

Puppeteer,搭配 HProxy

import puppeteer from "puppeteer";

const browser = await puppeteer.launch({
  args: ["--proxy-server=example.hproxy.com:8080"],
});
const page = await browser.newPage();
await page.authenticate({ username: "user-country-us", password: "pass" });
await page.goto("https://ipinfo.io/json");

Puppeteer 個問題

常見問題

為什麼 proxy-server 參數不接受我的使用者名稱與密碼?

因為那個 Chrome 參數只接受主機與連接埠。憑證則要改用 page.authenticate 傳入,並在瀏覽頁面之前呼叫。這是 Puppeteer 代理設定回傳驗證錯誤(看起來像是代理有問題)最常見的單一原因。

我需要在每個頁面上都進行驗證嗎?

需要。驗證是逐頁設定的,所以你開啟的每個新頁面,都需要在瀏覽之前呼叫它。在第二個頁面上忘了呼叫,會造成看起來時好時壞、實際上完全可預期的失敗。

如何讓每個 Puppeteer 頁面使用不同的 IP?

每個身分啟動一個獨立的瀏覽器實例,別只是開更多頁面,因為代理參數是在啟動時設定的,同一個瀏覽器內的頁面會共用它。使用輪換式代理時,每次新的啟動都會自動取得新的出口。

如何讓 Puppeteer 不下載圖片?

開啟請求攔截,並中止資源類型為 image、font、media 或 stylesheet 的請求。在按 GB 計費的情況下,這是你能做的影響最大的改變,因為無頭瀏覽器預設會和真實瀏覽器一樣擷取所有這些資源。

隨時為你準備好。

你的控制台只要十秒就到。不用業務電話,免訂閱,沒有最低金額。