(圖為google網路上抓取)

基本上通過以上擷取方式可以解析資料

(圖為google網路上抓取)  (如果有擋爬蟲可以採用selenium抓取)

這邊可以先安裝 python 分析專用編輯器  https://huijou.com/python/

這邊附上 pip 安裝網址給大家去安裝

request : https://pypi.org/project/requests/

selenium : https://pypi.org/project/selenium/

官網上可以下載任何 package 

這邊示範為  個股日成交資訊

證交所在政府開放資料平台上提供了一個資料集個股日成交資訊，這裡面的資料會每日更新，並且只保留最新的資料。

第一步抓取 台灣證券交易所資料

開啟 python – jupyter 請求api的網址去呼叫對方，傳送data回來

抓下後就可以看到 1127列 10行 的 datafrme 型式資料

程式碼雙手奉上 

#載入 package
import requests
import pandas as pd

# 透過證交所API抓取資料
url = 'http://www.twse.com.tw/exchangeReport/STOCK_DAY_ALL?response=open_dat'
tt = requests.get(link)
df_data = pd.DataFrame(tt.json()['data'])

# 修改欄位名稱
df_data.columns = ['SECURITY_CODE', 'NAME', 'VOLUME', 'AMOUNT', 'OPEN','HIGH', 'LOW', 'CLOSE', 'PRICE_CHANGE', 'TRANSACTION']

接下來就可以隨心所欲的使用它溜 !!

下篇會教導 selenium 進階篇 反爬蟲處理 

喜歡我的文章可以點擊這觀看更多

這篇文章 [python 爬蟲寶典] 爬蟲入門、爬蟲進階資料採集 最早出現於 HJs 找樂趣。