Data Platform 筆記#00：在變得具體之前

目標要做資料平台(Data Platform)

一開始我不是很能夠想像這件事該長成什麼樣子，既有的認知只有前期參與的團隊有實作過 HR 資料中心，顧問曾指導資料分層為 Stage、Data、Mart，除此之外，我沒有更多掌握，有很多疑問需要找到答案。

做到什麼程度算是Data Platform？ 我們期待它能解決什麼、幫助到誰？ 它是不是應該包含一套接收資料的方法、能儲存大量資料的資料庫、提供資料服務的能力？  
那麼，它是一個平台嗎？該用什麼技術？有哪些其實現在不需要？又該怎麼做，才能保留未來需要的彈性？

這些問題在當下其實都沒有辦法很快有肯定又具體的答案。好像每一個點都應該被考慮到，但同時又覺得過於理想。那段時間，我甚至開始嘗試透過與 AI 的對話，把模糊的想法拆解成可以被檢視的問題。它沒有辦法替我做決定，但確實加速我釐清問題。

只是，在理解問題的過程，即使把想法轉化輸出成一張張架構圖，進展卻不是太明顯，反而有一種無法落地的感覺，沒有讓事情真正往前走，我們仍然缺少可以被驗證的起點。

開始有切入點的時機，是我們在尋找能夠讓用戶自助調整所需報表的工具，剛好從前的工作曾小量接觸 Metabase ，建立了個測試環境來了解功能是否能符合需要，主管很快地也拋出先做個 POC 的想法，把資料拉進來看看，先驗證價值，再決定如何往下走。

現在回頭看，其實是一個很關鍵的引導，它讓想像的目標被驗證、被修正，逐漸轉化成具體，對我而言，是一次「以終為始」的實踐。

POC 的起點

我們沒有先設計完整的系統，也沒有急著定義什麼叫標準資料架構，而是選擇用最直接、甚至手動的方式，把能取得的各類資料先匯進資料庫，用簡單的視覺化工具快速做分析。目標很直接，我們想看看這些資料，能不能真的回答問題。

這個過程談不上可以落地，但看見資料開始能回答問題，意謂著我們也正在讓做資料中心的目標變得具體，POC 的過程中，我們也看見兩個現實：
1. 既有資料沒有我們要分析的維度，代表需要發展基礎資料維護能力。
2. 手動匯入不可能長期維持，資料必須能自動、持續流入。

在反覆驗證過程中，我們慢慢知道哪些事情值得投入、應該優先投入。

為什麼要從這裡開始寫

這段「變得具體之前」的時期，其實影響了後來許多決定。

很多後來看起來理所當然的選擇，都是從那些不成熟、不完整、甚至有點混亂的嘗試中慢慢長出來的。如果只談後面的架構與成果，很容易讓整個過程看起來好像一開始就知道該怎麼做。

寫下這個系列，是想把那段還在摸索、還在修正的時間也留下來。