資料爬取的難與憂
2020 Oct 20 市場觀點
資料爬取的難與憂
✨基於過往發佈週論無法即時反應新聞事件，考量下，以後將以快報形式短篇刊登，謝謝大家的支持！
上週五席勒本益比資料已經截取並計算出來，卻發現我們的每日大盤數據爬蟲程式出現問題。起因於原始網頁做了大改版，而且做了不少動態防爬蟲的機制。所以我們花了不少時間重新導向到資料正確的網址，重新用python編寫一個較精緻突破性較強的前端爬取程式，然後沿用先前的資料比對儲存程式（如附圖），這樣一共兩天的工，排除掉問題也確保往後至少一季的資料正確性！
爬取資料的難在於，在寫程式之前即需要有大量相關知識，然後再花時間閱讀大量網站，確定其資料的正確性與穩定性，至少觀察3-6個月，接著才能把程式放進每日電腦排程。爬蟲程式的編寫，應對防爬極度嚴密的網站，我們的工作就有點駭客的味道，需要跟各種規則做攻防；幸運的是一般網站是希望訪客參觀，所以再為難也有個限度；但是，憂慮的問題在於「維護」，網站只要三不五時做個改版，做架構的變動或是新增防爬機制，我們就得花約一週時間去重新編寫程式應對。
或許有朋友會覺得這麼麻煩幹嘛不直接人工記錄？或是花筆費用購買資料算了？我們算過，人工記錄，以當前的資料量應該至少要5人每日工作才能做到，一個月至少多出15萬的人事費用，（不包括勞健保與獎金，經營需考慮成本😅）；此外，對比電腦來說，人的出錯性極大且揪錯不易，表現與情緒複雜相關；初期我們也的確是由人工找尋並鍵入，但可以想像其慘況，所以後來放棄這個做法。
早期詢問過不少資料源，費用不低，每月也要七八萬費用，對初期負擔很大！但是隨著穩定成長後業務量的擴增，我們也在計畫未來編納經費來做數據購買，比對爬蟲資料後放入資料庫。幸運的是財經數據，特別是財報數據通常都是制式化，這也是電腦最擅長的工作，所以一直以來的九年時間，我們也都仰賴資訊、網路與電腦的發展，搶得先機與節約成本！
這裡與各位好友分享我們的一些工作甘苦，也稍微揭開這個行業看似神祕的一角，裡面還是時間與努力堆積而成的；沒有多少天上掉下來不勞而獲的機會，我們還是得腳踏實地去做才行，成功背後總有許多努力的故事，不是嗎？
相關文章
大數據投資週報2025/05/23
綠能環保受惠於夏季用電需求升溫與廢核政策發酵，加上供電吃緊議題再度被聚焦，資金親賴相關族群。觀光族群則因「台北國際觀光博覽會」登場與暑假出遊需求預熱，吸引買盤進駐。生技醫療在市場防禦心態下成為避風港。 資產概念則因台幣升值與AI話題（黃仁勳宣布輝達海外總部設於北市科）再起，帶動「士林三寶」新紡、士紙、士電連日飆漲，台火、士開等亦受資金青睞。外資5月迄今買超2384億元，幾乎刷新單月紀錄，也進一步穩定市場信心。瑞銀也上修台灣2025年GDP至3%，並看好新台幣持續升值。
- 2025 May 23
大數據投資週報2025/09/05
台股本週在國際與政策利多的推動下延續強勢，雖然權值股表現仍有震盪，但資金明顯轉向題材與政策受惠股，帶動大盤周線連二紅，加權指數收在24,494點，距離歷史高點僅一步之遙。影響市場的關鍵在於美國最新公布的就業數據不佳，進一步推升9月降息預期，市場解讀為「壞消息就是好消息」，帶來資金寬鬆的想像，資金持續湧入風險性資產。
- 2025 Sep 05
大數據投資週報2025/05/09
本週台股延續多頭氣勢，週線收連三紅，呈現穩中透強格局。在電子權值股撐盤與傳產族群接棒下，資金明顯回流市場。油電燃氣類指數大漲8.72%，食品類與造紙類亦分別上漲4.14%、3.76%，顯示避險型與民生相關產業在近期不確定性下獲資金青睞。 影響市場的國際變數方面，美英達成貿易協議，激勵美股全面上揚；非農就業數據優於預期與美國聯準會釋出穩定利率的訊號，亦強化資金風險偏好，推動全球股市回溫。台積電4月營收突破3,495億元創新高，加上新台幣升值，外資連續三週淨流入、單週買超達780億元，顯示熱錢進場信號明確。 惟短線仍須關注美中晶片關稅細節釋出等不確定性，操作建議保守中帶積極，選股不選市、配置勝過頻繁進出。
- 2025 May 09