[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 在靜態網站中獲取資訊

斷斷續續地在網路和書籍上學習有關 Python 的爬蟲技術,但隨著反爬蟲的技術也是越來越精進,所以想說藉由 「超新手也能用 Python 爬蟲打造貨比千家的比價網站」這門課來看看能否解決相關的疑惑。這篇主要是記錄如何「在靜態網站中獲取資訊」。
[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – ngrok


課程相關資訊

[連結]:https://hiskio.com/courses/527/lectures/26085

本篇範圍:Chapter 2 ( 開啟第一個網頁爬蟲 – 自動化收集商品資料 )

請注意:本系列文章為個人對應課程的消化吸收後,所整理出來的內容。換言之,並不一定會包含全部的課程內容,也有可能會添加其他資源來說明。


筆記

1. 先挑選你的目標頁面和你要爬取的東西
2. 利用開發者工具,來快速鎖定目標
3. 由於程式碼的 class, id 名稱中,有可能會包含亂數生成的字眼。這些字眼有機會會隨著時間、版本更新而變動,造成你的爬蟲無法穩定有效:可以使用如同 css 選取器的規則 h1[class*=’config__title__’] 的形式。左邊例子意思為:抓取 h1 標籤,其中包含 config__title__ 字樣、或是使用 regex 的方法

程式碼


系列文章

  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 資料科學與網頁爬蟲
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 資料清理與整理
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 資料探索與視覺化的生態系
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 資料探索和視覺化
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 觀察 API 並透過 Python 取得資料 – Pchome 24H 購物為例
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 觀察 API 並透過 Python 取得資料
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 網頁爬蟲的起源和處理策略
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 網站架設與前後端運作原理
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 用 jQuery DataTable 來讓表格動起來
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 爬取動態的電商網站 ( 蝦皮購物 )
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 為什麼抓不到動態資料
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 把全部的資料爬回來 ( 2 )
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 把全部的資料爬回來 ( 1 )
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 從網頁溝通架構到爬蟲運作原理
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 將資料存成外部 csv xlsx 檔案
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 將資料存到資料庫系統中
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 將資料串接上 Google Data Studio
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 存資料庫到後端
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 存到 MySQL 資料庫實作
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 在靜態網站中獲取資訊 2
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 友善與惡意爬蟲
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 Requests 模擬請求和攔截回應
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 Pandas 實現資料前處理
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 Flask 架設自己的網站 (3)
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 Flask 架設自己的網站 (2)
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 Flask 架設自己的網站 (1)
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 BeautifulSoup 來解析網頁原始碼
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 儲存到 Google Spreadsheet
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – Selenium 的簡介
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – Selenium 套件和環境設置
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – Python 與爬蟲環境準備
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – Python 的基本語法
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – Pandas 操作範例
  • [筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – ngrok
  • 按讚加入粉絲團

    延伸閱讀