Professional Freelancer

RFID, Software Development and Physical Security

Category: Python

Python

整合Python Selenium及BeautifulSoup實現動態網頁爬蟲

Apr 3, 2022

相信大家都知道，取得資料後能夠進行許多的應用，像是未來的趨勢預測、機器學習或資料分析等，而有效率的取得資料則是這些應用的首要議題，網頁爬蟲則是其中的一個方法。   網頁爬蟲就是能夠取得網頁原始碼中的元素資料技術，但是，有一些網頁較為特別，像是社群平台，需先登入後才能進行資料的爬取，或是電商網站，無需登入，但是要透過滾動捲軸，才會動態載入更多的資料，而要爬取這樣類型的網頁爬蟲，就稱為動態網頁爬蟲。   該如何實作呢?本文將使用Python Selenium及BeautifulSoup套件來示範動態網頁爬蟲的開發過程，重點包含： BeautifualSoup vs Selenium 安裝Selenium及Webdriver 安裝BeautifulSoup Selenium get()方法 Selenium元素定位 Selenium send_keys()方法 Selenium execute_script方法 BeautifulSoup find_all()方法 BeautifulSoup getText()方法 一、BeautifualSoup vs Selenium BeautifulSoup套件相信對於開發網頁爬蟲的人員來說，應該都有聽過，能夠解析及取得HTML原始碼各個標籤的元素資料，擁有非常容易上手的方法(Method)，但是，對於想要爬取動態網頁資料來說，則無法達成，因為BeautifulSoup套件並沒有模擬使用者操作網頁的方法(Method)，像是輸入帳號密碼進行登入或滾動捲軸等，來讓網頁動態載入資料，進行爬取的動作。   所以，這時候，就可以使用被設計於自動化測試的Selenium套件，來模擬使用者的動作，進行登入後爬取資料或滾動卷軸，並且能夠執行JavaScript程式碼，這些就是Selenium與BeautifulSoup套件最大不同的地方。對於開發Python動態爬蟲來說，就可以結合Selenium套件以上的特點，讓網頁動態載入資料後，再利用BeautifulSoup套件簡潔的方法(Method)，將所需的資料爬取下來。   本文就是利用這樣的概念，利用Selenium套件登入Facebook後，前往粉絲專頁，執行滾動卷軸的JavaScript程式碼，讓網頁動態載入資料後，再使用BeautifulSoup套件爬取貼文標題。…

API Data Analysis Python System Development

[Python+LINE Bot教學]6步驟快速上手LINE Bot機器人

Jan 28, 2022

每當朋友或家人要聚餐時，是不是總要花很長的時間尋找評價不錯的餐廳?不但要確認營業時間、消費價格及地點，還要觀看許多的美食文章才有辦法決定，這時候如果有人能夠明確提供幾間符合條件且有人氣的餐廳作為選擇，想必會省事許多。   所以筆者開發了一個美食的LINE Bot小作品，透過對談的方式瞭解使用者所要尋找的餐廳條件後，利用Python網頁爬蟲取得目前正在營業的五間最高人氣餐廳資料，回覆給使用者作為參考。   為了要讓想學習的您能夠由淺入深，瞭解其中的實作過程，所以將會分成三篇文章來進行教學。   2020/06/30補充說明 而在進行實作前，先來看一下LINE Bot主要的執行架構，如下圖： 使用者透過LINE發送訊息時，LINE Platform將會進行接收，並且傳遞至我們所開發的LINE Bot執行邏輯運算後，透過LINE所提供的Messaging API回應訊息給LINE Platform，最後再將訊息傳遞給使用者。   其中Messaging API(Application Programming Interface)，就是LINE官方定義的回應訊息標準介面，包含Text(文字)、Sticker(貼圖)、Video(影片)、Audio(聲音)及Template(樣板)訊息等，完整的說明可以參考LINE的官方文件。 所以在我們的LINE Bot回應訊息時，就要依據Messaging API定義的規範，傳入相應的參數後，Messaging API就會回應使用者相對的訊息類型。簡單來說，就是LINE Platform與LINE Bot的溝通橋樑。 而本文就先以最基本的使用者發送什麼訊息，LINE Bot就回應什麼訊息為例，讓讀者體會其中的運作方式，整體架構如下圖： 在LINE Bot的部分，使用Django框架來進行建置，並且透過Messaging…