The content provided appears to be a structured outline or table of contents for a documentation or guide related to **XlsxWriter**, a Python library used for creating Excel files in…

Example 1: Get Current Date and Time import datetime datetime_object = datetime.datetime.now() print(datetime_object) When you run the program, the output will be something like: 2018-12-19 09:26:03.478039 Here, we have imported datetime module…

In this tutorial, we will show you, how to perform web scraping in Python using Beautiful Soup 4 for getting data out of HTML, XML and other markup languages. In…

The content provided appears to be a repetitive and fragmented representation of the Stack Overflow website’s navigation and features. Below is an analysis while maintaining the original paragraph structure: —…

Learn how to scrape the web with Python! The internet is an absolutely massive source of data — data that we can access using web scraping and Python! In fact,…

你的Py教練Mike 搜尋 搜尋此網誌 快速搞懂Python網頁爬蟲爬取AJAX動態網頁的秘訣 10月 04, 2020 Photo by LinkedIn Sales Navigator on Unsplash 在使用Python網頁爬蟲爬取網頁時，有些網頁為了提升使用體驗及維持執行效能，會使用AJAX的技術， 非同步向伺服器傳送參數，取得資料來進行顯示， 使用者不會感受到畫面有任何的閃爍或停頓，依然能夠正常的使用網頁。 不過想要爬取這種類型的網頁，點擊滑鼠右鍵檢視原始碼時，會看到滿滿的Unicode編碼資料，沒有HTML標籤，這時候要來爬取網頁時，會完全抓不到資料。 由於筆者在爬取 KKday網站 的一日遊票券時，就是遇到這樣的情況，所以想藉此來和大家分享Python網頁爬蟲該如何爬取AJAX類型的網頁，其中的開發流程如下： 分析網頁 分析AJAX回傳結果 開發Python網頁爬蟲 一、分析網頁 首先，前往 KKday網站 ，假設在搜尋的地方輸入「新竹市」進行搜尋後，在網頁左側的「所有商品類別」中，選擇「觀光旅行」下的「一日遊」，就可以查到新竹市一日遊的相關票券，如下圖： 這時候，點擊滑鼠右鍵檢視網頁原始碼時，會完全找不到網頁上所顯示的票券名稱，都是Unicode編碼，這就是典型的 Source:…

相信大家都知道，取得資料後能夠進行許多的應用，像是未來的趨勢預測、機器學習或資料分析等，而有效率的取得資料則是這些應用的首要議題，網頁爬蟲則是其中的一個方法。   網頁爬蟲就是能夠取得網頁原始碼中的元素資料技術，但是，有一些網頁較為特別，像是社群平台，需先登入後才能進行資料的爬取，或是電商網站，無需登入，但是要透過滾動捲軸，才會動態載入更多的資料，而要爬取這樣類型的網頁爬蟲，就稱為動態網頁爬蟲。   該如何實作呢?本文將使用Python Selenium及BeautifulSoup套件來示範動態網頁爬蟲的開發過程，重點包含： BeautifualSoup vs Selenium 安裝Selenium及Webdriver 安裝BeautifulSoup Selenium get()方法 Selenium元素定位 Selenium send_keys()方法 Selenium execute_script方法 BeautifulSoup find_all()方法 BeautifulSoup getText()方法 一、BeautifualSoup vs Selenium BeautifulSoup套件相信對於開發網頁爬蟲的人員來說，應該都有聽過，能夠解析及取得HTML原始碼各個標籤的元素資料，擁有非常容易上手的方法(Method)，但是，對於想要爬取動態網頁資料來說，則無法達成，因為BeautifulSoup套件並沒有模擬使用者操作網頁的方法(Method)，像是輸入帳號密碼進行登入或滾動捲軸等，來讓網頁動態載入資料，進行爬取的動作。   所以，這時候，就可以使用被設計於自動化測試的Selenium套件，來模擬使用者的動作，進行登入後爬取資料或滾動卷軸，並且能夠執行JavaScript程式碼，這些就是Selenium與BeautifulSoup套件最大不同的地方。對於開發Python動態爬蟲來說，就可以結合Selenium套件以上的特點，讓網頁動態載入資料後，再利用BeautifulSoup套件簡潔的方法(Method)，將所需的資料爬取下來。   本文就是利用這樣的概念，利用Selenium套件登入Facebook後，前往粉絲專頁，執行滾動卷軸的JavaScript程式碼，讓網頁動態載入資料後，再使用BeautifulSoup套件爬取貼文標題。…

The content provided appears to be a structured guide or resource hub for learning Python, offering a variety of tools and materials to support learners at different stages. Below is…

pandas.DataFrame.iterrows DataFrame.iterrows()[source] Iterate over DataFrame rows as (index, Series) pairs. Yields indexlabel or tuple of label The index of the row. A tuple for a MultiIndex. dataSeries The data of the…

每當朋友或家人要聚餐時，是不是總要花很長的時間尋找評價不錯的餐廳?不但要確認營業時間、消費價格及地點，還要觀看許多的美食文章才有辦法決定，這時候如果有人能夠明確提供幾間符合條件且有人氣的餐廳作為選擇，想必會省事許多。   所以筆者開發了一個美食的LINE Bot小作品，透過對談的方式瞭解使用者所要尋找的餐廳條件後，利用Python網頁爬蟲取得目前正在營業的五間最高人氣餐廳資料，回覆給使用者作為參考。   為了要讓想學習的您能夠由淺入深，瞭解其中的實作過程，所以將會分成三篇文章來進行教學。   2020/06/30補充說明 而在進行實作前，先來看一下LINE Bot主要的執行架構，如下圖： 使用者透過LINE發送訊息時，LINE Platform將會進行接收，並且傳遞至我們所開發的LINE Bot執行邏輯運算後，透過LINE所提供的Messaging API回應訊息給LINE Platform，最後再將訊息傳遞給使用者。   其中Messaging API(Application Programming Interface)，就是LINE官方定義的回應訊息標準介面，包含Text(文字)、Sticker(貼圖)、Video(影片)、Audio(聲音)及Template(樣板)訊息等，完整的說明可以參考LINE的官方文件。 所以在我們的LINE Bot回應訊息時，就要依據Messaging API定義的規範，傳入相應的參數後，Messaging API就會回應使用者相對的訊息類型。簡單來說，就是LINE Platform與LINE Bot的溝通橋樑。 而本文就先以最基本的使用者發送什麼訊息，LINE Bot就回應什麼訊息為例，讓讀者體會其中的運作方式，整體架構如下圖： 在LINE Bot的部分，使用Django框架來進行建置，並且透過Messaging…