部落格
為自訂 AI 工具選擇模型:雲端服務或本機 Ollama
先連接供應商,測試一項小型文字工作,再依資料、模型品質與可用資源,選擇處理位置。
自訂 AI 工具需要供應商處理提示詞與輸入。在 Frset 中,你可以連接遠端服務,或連接在 Mac 上執行本機模型的 Ollama 服務。請依工作、文字處理位置,以及電腦能順暢執行的模型選擇;僅有本機端點,並不能證明所選模型就在本機執行。
決定這項工作最重視什麼
對簡短改寫,測試模型是否保留名稱與原意;對行動項目擷取,確認它是否將缺少的負責人與日期保留為未指定。選擇長期使用的供應商前,先用相同的小範例比較。
- 遠端服務:請求由設定的供應商處理。請確認憑證、模型存取權、使用費用與資料政策。
- 本機 Ollama 模型:模型推論使用 Mac 的資源。連接 Frset 前,先準備服務並下載合適的本機模型。
- Ollama 雲端模型:本機 Ollama 服務也可以將請求轉送到雲端模型。這與本機推論有不同的資料傳送路徑。
Ollama 的常見問題說明了本機與雲端處理。若要求本機處理,請選擇已安裝的本機模型。Frset 不會替你安裝模型,也不會改變供應商的處理位置。
連接遠端供應商
- 開啟 Frset 設定,選擇 AI Providers。
- 新增合適的供應商類型,並為項目取一個容易辨認的名稱。
- 確認基底網址,輸入供應商要求的憑證。
- 選擇或輸入該帳號可使用的模型。
- 使用 Verify 檢查連線,處理回報的設定問題。
- 確認設定已儲存、供應商已啟用,再到自訂工具設定中選取它。
請使用服務的 API 憑證,不是聊天網站的密碼。供應商 API 存取與計費,和 Frset 自身方案分開。可用模型可能變動,請使用模型清單或供應商目前的文件,不要只依賴教學中的舊模型名稱。
連接本機 Ollama 模型
依 Ollama 官方設定說明準備服務,確認想使用的本機模型已安裝且可用。它的相容性文件說明了此連線使用的端點。
在 Frset 中:
- 在 AI Providers 設定新增 Ollama 供應商。
- 若使用同一台 Mac 上的預設服務,保留
http://localhost:11434/v1作為基底網址。 - 選擇或輸入已安裝本機模型的完整正確名稱。
- 在 Ollama 執行時使用 Verify,檢查連線。
- 確認設定已儲存、供應商已啟用,再將自訂工具綁定到它。
- 先執行一段不含敏感資訊的短範例,檢查結果後再處理實際資料。
預設本機 Ollama 設定不要求在 Frset 中填入供應商 API 金鑰。不同位址、代理服務或雲端模型可能有不同要求。這個同一台 Mac 上的流程,不需要將本機服務開放給其他電腦。
改寫提示詞前,先排查設定
若無法連上供應商,先確認服務是否執行、基底網址是否正確。遠端供應商還需檢查網路與憑證。若模型不可用,請確認完整識別碼,以及它是否已在本機安裝,或遠端帳號是否有權存取。
本機回應緩慢或不完整,可能與模型大小、輸入長度及可用記憶體有關。先試較短段落,以及適合這台 Mac 的模型。可用系統監控觀察資源使用;單一 CPU 百分比無法判斷請求失敗的原因。
若連線正常,但結果不符合要求,再調整提示詞。自訂 AI 工具指南提供摘要、改寫與行動項目擷取範例。這些都是文字工具;連接供應商不會讓它們變成任意指令碼執行器或圖片產生工具。
保留可重複的比較方式
對每個候選模型試用相同的幾段文字:一個一般情況、一個含糊情況,以及一個包含必須保留之名稱或數字的情況。先比較正確性,再比較回應長度或速度。保留可辨識的供應商與模型資訊,方便在變更後重做檢查。
使用遠端服務時,它會收到提示詞與提交的文字。使用本機推論時,模型下載與更新仍可能需要網路。請閱讀 Frset 隱私權政策與供應商文件,了解目前設定的資料傳送路徑。