客戶經常問我們:你們用的是哪一家的大型語言模型?我們的回答通常是:看情況。
為什麼不綁定
不同的模型擅長的事不一樣。有的長文本讀得好,有的中文寫得更自然,有的又便宜又快,適合大量的簡單任務。把一個專案綁死在一家模型上,等於提前放棄了這些選擇。而且模型更新得很快,今天最好的那一個,幾個月後未必還是。
我們怎麼選
同一個任務,我們會拿幾家模型用同一批真實的例子去測,再比較四件事:效果、成本、速度和法規要求。中國的專案常用 DeepSeek、通義千問、Kimi、智譜 GLM 和豆包,其他地區的專案常用 OpenAI、Claude、Gemini 和 Llama。一個系統裡讓兩三個模型分工,也很常見。
資料怎麼處理
- 優先選用不會拿客戶資料訓練模型的企業級 API
- 資料敏感的場景,把開源模型部署在客戶的私有伺服器或本地裝置上
- 串接資料只開必要的權限,資料怎麼用寫進合約
- 能在本地處理的資料,不上傳
給以後留餘地
換模型的成本,我們在設計系統的時候就會考慮進去。以後出了更好的模型,換上去,用同一批例子測一遍,沒問題就能用。
