[筆記] 運用 requests 爬蟲並用 Pandas 解析資料 @地瓜大的飛翔旅程

章節連結

課程名稱
課程相關文章
指令

這回記錄下如何運用 Python 內建的 requests 函式庫抓取網頁資料，並運用 Pandas 來解析。

panda

課程名稱

用 Python 理財：打造小資族選股策略：https://bit.ly/2KXR1Nw
對於初學者而言，算是簡易的入門教材。由於 Python 本身的語言特性，相較於 JavaScript 是比較人性化的。外加上已內建不少好用的函式庫，對於資料分析的處理上，用 Python 入門算是滿不錯的。

[筆記] 運用 Python 爬蟲每季財報

[筆記] 運用 Python 爬蟲每月月報

[筆記] 運用 Python 套件 Talib 繪製常見的股票指標

[筆記] 運用 Python 爬蟲每日股價

[筆記] Pandas 和 Matplotlib 的初始化

[筆記] Module ‘pandas’ has no attribute ‘Series’ 解決方法

指令

# encoding: utf-8
import requests
import pandas as pd

# 抓取網頁
res = requests.get('http://www.wibibi.com/info.php?tid=116')
res.encoding = 'utf-8'  # 網頁編碼指定

# 網頁存檔
f = open('./python_learn/text.html', 'w')
f.write(res.text)
f.close()

# 讀取檔案轉成 DataFrame
dfs = pd.read_html('./python_learn/text.html')
for i in range(0, 5):
    print(dfs[i])

# encoding: utf-8

import requests

import pandas as pd

# 抓取網頁

res = requests.get('http://www.wibibi.com/info.php?tid=116')

res.encoding = 'utf-8' # 網頁編碼指定

# 網頁存檔

f = open('./python_learn/text.html', 'w')

f.write(res.text)

f.close()

# 讀取檔案轉成 DataFrame

dfs = pd.read_html('./python_learn/text.html')

for i in range(0, 5):

print(dfs[i])

按讚加入粉絲團

課程名稱

課程相關文章

指令

延伸閱讀