[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 Pandas 實現資料前處理

斷斷續續地在網路和書籍上學習有關 Python 的爬蟲技術，但隨著反爬蟲的技術也是越來越精進，所以想說藉由 「超新手也能用 Python 爬蟲打造貨比千家的比價網站」這門課來看看能否解決相關的疑惑。這篇筆記下「Pandas」的介紹。

---

課程相關資訊

[連結]：https://hiskio.com/courses/527/lectures/26090

本篇範圍：Chapter 4 ( 資料很髒很亂怎麼辦？資料清理與資料整併 )

請注意：本系列文章為個人對應課程的消化吸收後，所整理出來的內容。換言之，並不一定會包含全部的課程內容，也有可能會添加其他資源來說明。

---

筆記

• 1. Pandas 是一個用於資料分析的函式庫，你可以用 import 的方式載入，一般會命名成 pd
• 2. Pandas 提供了兩種主要的資料結構 – 用於一維環境的 Series 和二維環境的 DataFrame
• 3. 你可以從內部資料轉換，或是外部導入
• 4. DataFrame 的資料選取方式簡介：
  • 使用欄位名稱選取：如 df[‘A’]，代表選取 A 欄位
  • 用 location 選擇行和列 [ <row>:<column>]
  • 根據條件選
• 5. 資料合併和重組 – Concat ( 上下拼接 )、merge ( 用欄位左右拼接 )、Join ( 用索引左右拼接，索引相同的段落會留下來 )

---

系列文章

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 資料科學與網頁爬蟲

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 資料清理與整理

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 資料探索與視覺化的生態系

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 資料探索和視覺化

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 觀察 API 並透過 Python 取得資料 – Pchome 24H 購物為例

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 觀察 API 並透過 Python 取得資料

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 網頁爬蟲的起源和處理策略

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 網站架設與前後端運作原理

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 用 jQuery DataTable 來讓表格動起來

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 爬取動態的電商網站 ( 蝦皮購物 )

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 為什麼抓不到動態資料

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 把全部的資料爬回來 ( 2 )

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 把全部的資料爬回來 ( 1 )

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 從網頁溝通架構到爬蟲運作原理

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 將資料存成外部 csv xlsx 檔案

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 將資料存到資料庫系統中

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 將資料串接上 Google Data Studio

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 存資料庫到後端

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 存到 MySQL 資料庫實作

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 在靜態網站中獲取資訊 2

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 在靜態網站中獲取資訊

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 友善與惡意爬蟲

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 Requests 模擬請求和攔截回應

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 Flask 架設自己的網站 (3)

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 Flask 架設自己的網站 (2)

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 Flask 架設自己的網站 (1)

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 利用 BeautifulSoup 來解析網頁原始碼

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – 儲存到 Google Spreadsheet

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – Selenium 的簡介

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – Selenium 套件和環境設置

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – Python 與爬蟲環境準備

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – Python 的基本語法

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – Pandas 操作範例

[筆記] 超新手也能用 Python 爬蟲打造貨比千家的比價網站 – ngrok

按讚加入粉絲團

延伸閱讀

• [筆記] 程式必修課！離散數學與演算法 – 6
• [筆記] 程式必修課！離散數學與演算法 – 5
• [筆記] 程式必修課！離散數學與演算法 – 4
• [筆記] 程式必修課！離散數學與演算法 – 3
• [筆記] 程式必修課！離散數學與演算法 – 2