資料爬取的難與憂
2020 Oct 20 市場觀點
資料爬取的難與憂
✨基於過往發佈週論無法即時反應新聞事件，考量下，以後將以快報形式短篇刊登，謝謝大家的支持！
上週五席勒本益比資料已經截取並計算出來，卻發現我們的每日大盤數據爬蟲程式出現問題。起因於原始網頁做了大改版，而且做了不少動態防爬蟲的機制。所以我們花了不少時間重新導向到資料正確的網址，重新用python編寫一個較精緻突破性較強的前端爬取程式，然後沿用先前的資料比對儲存程式（如附圖），這樣一共兩天的工，排除掉問題也確保往後至少一季的資料正確性！
爬取資料的難在於，在寫程式之前即需要有大量相關知識，然後再花時間閱讀大量網站，確定其資料的正確性與穩定性，至少觀察3-6個月，接著才能把程式放進每日電腦排程。爬蟲程式的編寫，應對防爬極度嚴密的網站，我們的工作就有點駭客的味道，需要跟各種規則做攻防；幸運的是一般網站是希望訪客參觀，所以再為難也有個限度；但是，憂慮的問題在於「維護」，網站只要三不五時做個改版，做架構的變動或是新增防爬機制，我們就得花約一週時間去重新編寫程式應對。
或許有朋友會覺得這麼麻煩幹嘛不直接人工記錄？或是花筆費用購買資料算了？我們算過，人工記錄，以當前的資料量應該至少要5人每日工作才能做到，一個月至少多出15萬的人事費用，（不包括勞健保與獎金，經營需考慮成本😅）；此外，對比電腦來說，人的出錯性極大且揪錯不易，表現與情緒複雜相關；初期我們也的確是由人工找尋並鍵入，但可以想像其慘況，所以後來放棄這個做法。
早期詢問過不少資料源，費用不低，每月也要七八萬費用，對初期負擔很大！但是隨著穩定成長後業務量的擴增，我們也在計畫未來編納經費來做數據購買，比對爬蟲資料後放入資料庫。幸運的是財經數據，特別是財報數據通常都是制式化，這也是電腦最擅長的工作，所以一直以來的九年時間，我們也都仰賴資訊、網路與電腦的發展，搶得先機與節約成本！
這裡與各位好友分享我們的一些工作甘苦，也稍微揭開這個行業看似神祕的一角，裡面還是時間與努力堆積而成的；沒有多少天上掉下來不勞而獲的機會，我們還是得腳踏實地去做才行，成功背後總有許多努力的故事，不是嗎？
相關文章
【市場觀察】在恐慌與理性之間：我們從重挫學到的事
今年初，台股在川普政策陰影與國際談判不確定性的雙重打擊下，經歷了劇烈震盪。圖中藍線為台股加權淨值表現，紅線則為我們公司的總淨值走勢。兩者的落差，清晰呈現出「有經驗的策略」與「市場情緒反應」之間的對比。 雖然短期內整體市場信心受到打擊，但隨著消息逐步明朗，資金回流、市場修復，我們的總資產報酬已穩步回升，成功站回虧損線之上。這一段跌宕的行情，讓我們想與大家分享幾個經驗與反思：
- 2025 May 13
大數據投資週報2025/03/21
上週市場氣氛回暖，加權指數上漲1.1%，但類股輪動仍相當劇烈，資金流向值得關注。本週表現最佳的三大產業為 建材營造（+3.1%）、汽車（+2.2%）、運動休閒（+2.1%），其中建材營造受惠於國內外基建投資增加，推動股價上揚；汽車類股則因新能源電動車需求持續增長，加上供應鏈恢復，帶動市場買盤；運動休閒產業則因春季旅遊需求回溫，消費動能提升。
- 2025 Mar 21
大數據投資週報2024/11/15
上週台股跌幅3.3%，但特定產業逆勢上漲，橡膠類大漲3.6%、航運類2.4%、建 材營造1.2%，展現資金流入的亮眼表現。尤其航運類股技術面破底翻突破頸線， 買盤力道明顯增強。另一方面，油電燃氣及居家生活類股持續探底，跌幅仍位 列前三。 根據歷史五年數據統計，11月為加權指數漲幅超過3%的月份，是佈局成長性產 業的好時機。本週看好需求穩健增長的航運及橡膠類股，並建議謹慎規劃跌幅 較大的產業資產配置。這個黃金投資月，掌握資金流向將是致勝關鍵！
- 2024 Nov 15
