日韩无码专区无码一级三级片|91人人爱网站中日韩无码电影|厨房大战丰满熟妇|AV高清无码在线免费观看|另类AV日韩少妇熟女|中文日本大黄一级黄色片|色情在线视频免费|亚洲成人特黄a片|黄片wwwav色图欧美|欧亚乱色一区二区三区

目錄

• 簡介

  

  為銅官等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及銅官網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為網(wǎng)站建設(shè)、網(wǎng)站制作、銅官網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

• Selenium vs Puppeteer

• 安裝

• 一個簡單的例子

• 解釋代碼

• 把項目容器化

• 容器打包時的一些坑

  • 1. Puppeteer 安裝 Chromium 時會缺少一些組件

  • 2. 頁面焦點問題

  • 3. Page Crash 問題

  • 4. 時區(qū)問題

Puppeteer 是 Node.js 的一個函數(shù)庫，可用來操控瀏覽器，是 Google 的項目，可以應(yīng)用的范圍包括：前端的自動化測試、爬蟲、表單提交等。

Selenium vs Puppeteer

之前有過用 Python 配合 Selenium 的經(jīng)驗，不過如果是做爬蟲、自動化操作用 Puppeteer 還是非常方便的，安裝簡單快速，API 也容易使用。美中不足的是它只支持 Chromium 以下是兩者的比較，僅供參考：

由于 Puppeteer 是用 Node.js 寫的，所以必須要先安裝 Node。

1. 可以至官網(wǎng) 下載

2. 如果用 mac 可以使用  https://nodejs.org/en/

安裝完后可以在 terminal 輸入 node -v 檢查是否安裝成功

然后到要開發(fā)的項目路徑下輸入 npm init -y 初始化項目，接著 npm i puppeteer ，安裝的時候會發(fā)現(xiàn)它會連同 Chromium 一同安裝。

安裝成功后就可以開始了。

一個簡單的例子

新增一個文件 main.js ，并復(fù)制以下代碼：

 
 
 
 

  
  
  
  
const puppeteer = require('puppeteer'); 
  
  
  
  
 
  
  
  
  
(async () => { 
  
  
  
  
 
  
  
  
  
  // 開啟 browser 
  
  
  
  
  const browser = await puppeteer.launch({ 
  
  
  
  
        headless: false 
  
  
  
  
  }); 
  
  
  
  
  // 新增分頁 
  
  
  
  
  const page = await browser.newPage(); 
  
  
  
  
  // 到自己的博客網(wǎng)站 
  
  
  
  
  await page.goto(`https://www.myblog.com/`); 
  
  
  
  
  // 等待訂閱按鈕出現(xiàn) 
  
  
  
  
  await page.waitForSelector("button[class='subscribe-button pill-button']"); 
  
  
  
  
  // 點擊訂閱按鈕 
  
  
  
  
  await page.click("button[class='subscribe-button pill-button']"); 
  
  
  
  
})(); 
 
 
 
 

接著到終端下輸入 node main.js 執(zhí)行。

解釋代碼

前面的代碼先引入 Puppeteer，以便后續(xù)使用，接下來可以看到用 async 以及 () => ， async 表示函數(shù)要用到異步操作， () => 則是 JS 的箭頭函數(shù)。

 
 
 
 

  
  
  
  
const puppeteer = require('puppeteer'); 
 
 
 
 

接下來是用 Puppeteer 打開一個瀏覽器 ( Chromium )，其中可以看到我們設(shè)了參數(shù) headless : false ，如果是設(shè)定為 true ，會開啟沒有界面的無頭瀏覽器，如果設(shè)定 false ，就會開一個瀏覽器窗口。

 
 
 
 

  
  
  
  
const browser = await puppeteer.launch({ 
  
  
  
  
    headless: false 
  
  
  
  
}); 
 
 
 
 

這段就很簡單了，它會幫你在瀏覽器開一個新的分頁。

 
 
 
 

  
  
  
  
const page = await browser.newPage(); 
 
 
 
 

這段也很容易，看到 goto 就可以猜到會幫你導(dǎo)向后方指定的網(wǎng)址。

 
 
 
 

  
  
  
  
await page.goto(`https://b123105.blogspot.com/`); 
 
 
 
 

最后這段代碼用到了 click 這個方法，它能夠幫你點擊后面指定的元素，可以看到我是指定 class = subscribe-button pill-button 的  。

waitForSelector 的作用是，在執(zhí)行時整個操作速度會很快，有時可能這個元素都很沒出現(xiàn)，就讓它去點擊，有可能會找不到。所以先讓它等待指定元素出現(xiàn)后，再去點擊。

 
 
 
 

  
  
  
  
await page.waitForSelector("button[class='subscribe-button pill-button']"); 
  
  
  
  
 
  
  
  
  
await page.click("button[class='subscribe-button pill-button']"); 
 
 
 
 

把項目容器化

首先下載 Docker，這里就不再贅述。接下來在項目目錄下創(chuàng)建 Dockerfile ，把下面的腳本代碼復(fù)制粘貼。

然后構(gòu)建鏡像： docker build -t puppeteer-bot . 。

構(gòu)建完成后就執(zhí)行 docker run -d --name puppeteer-bot-timeline puppeteer-bot:latest 。

之后可以通過 docker logs puppeteer-bot-timeline 查看 console.log 的內(nèi)容 ( 如果有的話 )。

要記得 headless 要設(shè)定為 true 才能運行。

 
 
 
 

  
  
  
  
FROM node:11-slim 
  
  
  
  
# 下載 chromium 在 docker 運行時所需組件 
  
  
  
  
RUN apt-get update && apt-get install -yq libgconf-2-4 
  
  
  
  
RUN apt-get update && apt-get install -y wget --no-install-recommends \ 
  
  
  
  
    && wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add - \ 
  
  
  
  
    && sh -c 'echo "deb [arch=amd64] http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google.list' \ 
  
  
  
  
    && apt-get update \ 
  
  
  
  
    && apt-get install -y google-chrome-unstable \ 
  
  
  
  
      --no-install-recommends \ 
  
  
  
  
    && rm -rf /var/lib/apt/lists/* \ 
  
  
  
  
    && apt-get purge --auto-remove -y curl \ 
  
  
  
  
    && rm -rf /src/*.deb 
  
  
  
  
 
  
  
  
  
ADD https://github.com/Yelp/dumb-init/releases/download/v1.2.0/dumb-init_1.2.0_amd64 /usr/local/bin/dumb-init 
  
  
  
  
RUN chmod +x /usr/local/bin/dumb-init 
  
  
  
  
USER root 
  
  
  
  
ENV TZ=Asia/Shanghai # 轉(zhuǎn)換時區(qū)，非必要 
  
  
  
  
RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone 
  
  
  
  
COPY . /app/ 
  
  
  
  
WORKDIR app 
  
  
  
  
RUN npm install 
  
  
  
  
EXPOSE 8084 
  
  
  
  
ENTRYPOINT ["dumb-init", "--"] 
  
  
  
  
CMD ["node", "main.js"] 
 
 
 
 

容器打包時的一些坑

接下來是我在用 Docke 打包過程遇到的一些問題：

1. Puppeteer 安裝 Chromium 時會缺少一些組件

本來用 docker 封裝是很容易的，安裝 node 然后 npm install 就行了，但是在實際操作時一直報錯說 Chromium 缺少組件。后來去 Puppeteer 的 issue 上查到原來安裝 Puppeteer 時會自動安裝 Chromium，但要在 Docker 上運行的相關(guān)組件并不會自動下載。

2. 頁面焦點問題

在開發(fā)時我是通過開啟一個瀏覽器，然后持續(xù)開三個分頁來進(jìn)行操作，希望能加快處理的速度。但是發(fā)現(xiàn)當(dāng) headless:false 時，會同時開啟三個分頁，但只有被設(shè)置為焦點的當(dāng)前頁面在執(zhí)行后面的腳本，另外兩頁并沒有。因為在開發(fā)過程中執(zhí)行時 tab 頁會被關(guān)閉，所以接下來第二個 tab 中的頁面獲得焦點后會再開始運行。

在 issue 中也看到有人遇到了同樣的問題，只有在 headless:true 的時候會同時處理，但目前還沒找到其他解法。

3. Page Crash 問題

上面有提到我在一個瀏覽器上操作三個分頁，放在 docker 中運行，總是遇到 Page Crash 問題，第一反應(yīng)是可能內(nèi)存不足，在 issue 上查到原來在打開瀏覽器時要加上 --disable-dev-shm-usage 。

原文是這樣說的：

By default, Docker runs a container with a /dev/shm shared memory space 64MB. This is typically too small for Chrome and will cause Chrome to crash when rendering large pages. To fix, run the container with docker run --shm-size=1gb to increase the size of /dev/shm. Since Chrome 65, this is no longer necessary. Instead, launch the browser with the --disable-dev-shm-usage flag: const browser = await puppeteer.launch({ args: ['--disable-dev-shm-usage'] });

4. 時區(qū)問題

這個問題與 Puppeteer 無關(guān)，有的服務(wù)器時區(qū)默認(rèn)是 GMT，這時就要在 Dockerfile 指定容器的時區(qū)，不然代碼中涉及到時間的操作時會被自動加 8 小時。

網(wǎng)站欄目：用Puppeteer實現(xiàn)一個自動化機器人
本文來源：http://www.5511xx.com/article/dhscdcc.html