AI platforms, agents & model systems

設計一個正式上線的 AI agent 應用平台：接收使用者目標、管理上下文與記憶、安全地呼叫工具、必要時暫停交由真人審核，並透過 trace 與 eval 持續改善。

設計一條內容審核管線，篩查使用者提交的貼文/媒體是否違反政策，在平台規模下權衡發文延遲與審核準確度。

為 feed／影片／廣告設計一套大規模的個人化推薦系統。涵蓋候選檢索、排序、序列特徵、冷啟動、實驗、模型健康度、安全性，以及商業指標。

設計一套企業級的 RAG 知識助理，能在內部文件（wiki、工單、合約）上回答員工提問，給出有依據、附引用的答案，同時尊重每份文件的存取權限（ACL）。

設計一套 LLM inference gateway，位於內部產品團隊與多家模型供應商／後端之間，在公司規模下處理路由、串流、配額與安全控管。

為多個團隊共用的大型 GPU/TPU 訓練叢集設計排程器，這些團隊都在跑分散式訓練工作；要處理 gang scheduling(整組一起排)、搶佔，以及故障復原。

設計一套 MCP 風格的工具閘道，讓 AI agent 能安全地發現並呼叫企業工具(CRM 寫入、工單、內部 API)，並具備逐使用者授權與可稽核性。

為一個 SaaS 產品設計一套 AI 客服 agent。涵蓋意圖路由、知識檢索、帳戶安全的工具操作、對話記憶、以信心度為基礎的真人升級、支援工單交接、評測套件、隱私控管，以及營運監控。

為廣告排序系統設計一套評估框架。涵蓋離線與線上評估、A/B 測試與實驗互相干擾、反事實與交錯（interleaving）評估法、護欄指標、校準、回饋迴路、延遲轉換、公平性與政策限制，以及帶漂移偵測的指標監控。

為像 Uber 這樣的公司設計一套 ML feature store，讓同一份特徵同時供給離線模型訓練與低延遲的線上推論。涵蓋離線/線上儲存的拆分、point-in-time 正確的訓練資料、訓練/線上偏移(training-serving skew)、特徵新鮮度與回填(backfill)、物化(materialization)管線，以及特徵血緣(lineage)。

設計一套向量資料庫的儲存與查詢引擎，為數十億筆 embedding 建立索引，支援近似最近鄰(ANN)搜尋。涵蓋 ANN 索引設計(HNSW 圖建構、IVF-PQ)、距離度量、十億級向量分片、篩選/混合搜尋、召回率與延遲的調校，以及增量 upsert。

為多個團隊設計一套通用的 ML 模型服務平台，專門承載非 LLM 的預測推論。內容涵蓋模型註冊表與版本管理、線上特徵擷取、動態請求批次處理、shadow/canary 與 A/B 上線、自動擴縮，以及漂移與偏斜監控。

為 Instagram 或 Facebook 這類社群動態設計排序系統。涵蓋多階段漏斗——從候選產生（two-tower／ANN(近似最近鄰)檢索）到早期排序、再到以互動為目標的重量級排序——再加上 feature store 整合、內容新鮮度、回饋迴路、位置偏誤，以及內容誠信護欄。

設計一套即時的 ML 詐欺／風險評分系統，在 100 ms 內為支付交易評分。涵蓋特徵類型（velocity、graph、device）、串流特徵計算、標籤延遲與回饋迴路、分數門檻與成本的取捨、模型加規則的混合架構，以及對抗性漂移。

設計一套 ETA 預測服務，每秒為數百萬趟行程回傳到達時間估計。內容涵蓋：以路由圖為基礎的 base 估計、再疊上一個學習得到的殘差（residual）修正、量化後的地理空間特徵、次毫秒級的線上服務、feature store、重新訓練的節奏，以及分段（segment）層級的誤差處理。

設計一套 guardrails 管線，用分層的輸入與輸出安全機制把 LLM 應用包起來。涵蓋 prompt injection 與 jailbreak 偵測、PII 遮蔽、輸出審核、工具呼叫與意圖閘控、檢索污染（retrieval poisoning）防禦、這些檢查所增加的延遲預算，以及 fail-open 與 fail-closed 的抉擇。

為一個要出貨 LLM 功能的組織設計評測平台：管理一份帶版本的 golden set（分層抽樣的生產樣本、對抗性題庫、人工建構的邊界案例，以及真正上線過的失敗案例的重放），在明確的偏誤控制下用 LLM judge 為輸出打分，在 CI 中依回歸趨勢對每一次 prompt／模型／檢索的變更設關卡（gate），並跑生產回饋迴路來讓 golden set 保持鮮活。評測方法論就是新的系統設計：一次...

為電話客服與語音助理設計一套即時語音 AI 代理平台：從使用者開口到代理回話的完整迴圈。涵蓋語音活動偵測與回合偵測(話有沒有講完，而不只是聲音有沒有停)、能在代理話說到一半就打斷它的 barge-in 處理、串流式 STT → LLM → TTS 級聯與原生語音對語音(speech-to-speech)模型的取捨、不留死寂的工具呼叫、電話進站(SIP/PSTN、回音、抖動)，以及能撐過重連的...