AI engineer · 台灣台中

我建 agent 系統,然後量它到底有沒有用。

AI engineer,後端出身,主要寫 Go。具體來說做三件事:建 agent 系統(MCP server、用 PostgreSQL 與 pgvector 做的知識庫、真的有被評估過的 retrieval);把模型放進正式環境(依實際的 CPU 或 GPU 預算選 serving 架構,部署到雲端 GPU 與 Jetson 邊緣裝置);然後用 OpenTelemetry、Prometheus、Grafana 把這一切量出來,讓數字是真的。

國立中興大學資訊科學碩士。兩個關於 ML serving 的開源研究專案——一個在 CPU 受限下比較三種架構,另一個用 Go 實作第二篇研究的 batching proxy——以及一個寫 benchmark 沒講到的事的 blog。開放新的機會。

回到頂部