斷斷續續地在網路和書籍上學習有關 Python 的爬蟲技術,但隨著反爬蟲的技術也是越來越精進,所以想說藉由 「超新手也能用 Python 爬蟲打造貨比千家的比價網站」這門課來看看能否解決相關的疑惑。這篇筆記下「Pandas」的簡易操作範例。
課程相關資訊
[連結]:https://hiskio.com/courses/527/lectures/26091
本篇範圍:Chapter 4 ( 資料很髒很亂怎麼辦?資料清理與資料整併 )
請注意:本系列文章為個人對應課程的消化吸收後,所整理出來的內容。換言之,並不一定會包含全部的課程內容,也有可能會添加其他資源來說明。
程式碼
-
123456789101112131415161718192021222324252627import pandas as pdprint('Pandas Version:',pd.__version__)import numpy as npdf1 = pd.DataFrame({'A':1,'B':pd.Timestamp('20210101'),'C':pd.Series(1, index=list(range(4)), dtype='float32'),'D':np.array([3]*4, dtype='int32')})print('DF1:')print(df1)df2= pd.read_csv('https://raw.githubusercontent.com/dataoptimal/posts/master/data%20cleaning%20with%20python%20and%20pandas/property%20data.csv')print('DF2:')print(df2)print('宣告一個新資料')dates = pd.date_range('20210101', periods=6)df3 = pd.DataFrame(np.random.randn(6,4), index = dates, columns=list('ABCD'))print('DF3:')print(df3)print(df3.iloc[0:4,0:3])print(df3.loc[df3['A']>0, :])