資料爬取的難與憂
2020 Oct 20 市場觀點
資料爬取的難與憂
✨基於過往發佈週論無法即時反應新聞事件，考量下，以後將以快報形式短篇刊登，謝謝大家的支持！
上週五席勒本益比資料已經截取並計算出來，卻發現我們的每日大盤數據爬蟲程式出現問題。起因於原始網頁做了大改版，而且做了不少動態防爬蟲的機制。所以我們花了不少時間重新導向到資料正確的網址，重新用python編寫一個較精緻突破性較強的前端爬取程式，然後沿用先前的資料比對儲存程式（如附圖），這樣一共兩天的工，排除掉問題也確保往後至少一季的資料正確性！
爬取資料的難在於，在寫程式之前即需要有大量相關知識，然後再花時間閱讀大量網站，確定其資料的正確性與穩定性，至少觀察3-6個月，接著才能把程式放進每日電腦排程。爬蟲程式的編寫，應對防爬極度嚴密的網站，我們的工作就有點駭客的味道，需要跟各種規則做攻防；幸運的是一般網站是希望訪客參觀，所以再為難也有個限度；但是，憂慮的問題在於「維護」，網站只要三不五時做個改版，做架構的變動或是新增防爬機制，我們就得花約一週時間去重新編寫程式應對。
或許有朋友會覺得這麼麻煩幹嘛不直接人工記錄？或是花筆費用購買資料算了？我們算過，人工記錄，以當前的資料量應該至少要5人每日工作才能做到，一個月至少多出15萬的人事費用，（不包括勞健保與獎金，經營需考慮成本😅）；此外，對比電腦來說，人的出錯性極大且揪錯不易，表現與情緒複雜相關；初期我們也的確是由人工找尋並鍵入，但可以想像其慘況，所以後來放棄這個做法。
早期詢問過不少資料源，費用不低，每月也要七八萬費用，對初期負擔很大！但是隨著穩定成長後業務量的擴增，我們也在計畫未來編納經費來做數據購買，比對爬蟲資料後放入資料庫。幸運的是財經數據，特別是財報數據通常都是制式化，這也是電腦最擅長的工作，所以一直以來的九年時間，我們也都仰賴資訊、網路與電腦的發展，搶得先機與節約成本！
這裡與各位好友分享我們的一些工作甘苦，也稍微揭開這個行業看似神祕的一角，裡面還是時間與努力堆積而成的；沒有多少天上掉下來不勞而獲的機會，我們還是得腳踏實地去做才行，成功背後總有許多努力的故事，不是嗎？
相關文章
大數據投資週報2025/05/16
本週台股大盤強勢上攻928點，漲幅4.44%，指數成功站上21,800點關卡，周線連四紅，資金與人氣同步回籠。航運類指數飆漲12.8%，居家生活與其他電子產業分別勁揚11.5%、6.5%，構成漲幅前三產業亮點。資金由科技權值股擴散至傳產與內需，航運比重則提升至近兩成，成為盤面主攻部隊。 本週大盤不僅補回川普關稅風暴前的缺口，且在新台幣升值與國際利多推波助瀾下，出現全面回穩訊號。黃仁勳來台、COMPUTEX即將登場，AI題材再度升溫，輝達概念股齊漲。外資連11日買超，累計加碼逾2,100億元，台幣持續升值亦吸引外資匯入。在川普出訪與關稅暫緩題材加持下，市場避險情緒降溫，短線有望延續反彈格局。 回顧我們週報於五月初的提醒：「五月歷史報酬佳，建議可逢低布局」，目前正應驗中！
- 2025 May 16
大數據投資週報2025/01/10
上週台股市場呈現分化走勢，生技醫療類股以6.5%的漲幅拔得頭籌，半導體類股和其他電子類分別上漲2.3%和1.2%，展現相對抗跌的態勢。然而，航運類股本週轉弱，投資者需謹慎留意。塑膠類指數更是連續兩周進入跌幅榜前三，顯示市場壓力持續。
- 2025 Jan 10
大數據投資週報2025/02/08
過去一週，資訊服務、生技醫療與數位雲端類股成為市場焦點，分別上漲14.5%、6%、4.8%，顯示市場資金正在向數位與醫療板塊轉移。然而，油電燃氣類股卻由春節前一周的強勢股轉為本週跌幅最深，半導體類股則在頸線位置盤整，市場觀望其突破動能。整體而言，大盤在新春開紅盤後表現疲弱，加權指數週跌0.2%，類股輪動劇烈。 展望2月，根據過去五年數據，台股普遍走弱，加權指數與櫃買指數分別平均下跌1.7%與1.5%。在此背景下，投資人應該如何調整策略？本期週報將深入解析產業趨勢，幫助投資人在震盪市場中尋找穩健布局的方向！
- 2025 Feb 08
投資就是當老闆、經營公司；資本、錢就是員工
長期經營應將目光放長遠，像當老闆一樣管理自己的資金，並且給予“員工”足夠的時間去工作。只有這樣，才能夠在市場的波動中保持冷靜，最終收穫穩定且持久的回報。
- 2024 Nov 25
大數據投資週報2024/12/13
上週台股市場呈現分化局勢，通信網路指數與電子零組件類指數得0.5%與0.4%的小幅上漲，而半導體類指數則以0.3%漲幅位列第三。反觀油電燃氣類指數，跌幅連續六周排名前三，值得投資人密切關注。本周加權指數跌0.74%，顯示市場信心不足。
- 2024 Dec 13