部落格

為自訂 AI 工具選擇模型:雲端服務或本機 Ollama

先連接供應商,測試一項小型文字工作,再依資料、模型品質與可用資源,選擇處理位置。

自訂 AI 工具需要供應商處理提示詞與輸入。在 Frset 中,你可以連接遠端服務,或連接在 Mac 上執行本機模型的 Ollama 服務。請依工作、文字處理位置,以及電腦能順暢執行的模型選擇;僅有本機端點,並不能證明所選模型就在本機執行。

決定這項工作最重視什麼

對簡短改寫,測試模型是否保留名稱與原意;對行動項目擷取,確認它是否將缺少的負責人與日期保留為未指定。選擇長期使用的供應商前,先用相同的小範例比較。

  • 遠端服務:請求由設定的供應商處理。請確認憑證、模型存取權、使用費用與資料政策。
  • 本機 Ollama 模型:模型推論使用 Mac 的資源。連接 Frset 前,先準備服務並下載合適的本機模型。
  • Ollama 雲端模型:本機 Ollama 服務也可以將請求轉送到雲端模型。這與本機推論有不同的資料傳送路徑。

Ollama 的常見問題說明了本機與雲端處理。若要求本機處理,請選擇已安裝的本機模型。Frset 不會替你安裝模型,也不會改變供應商的處理位置。

連接遠端供應商

  1. 開啟 Frset 設定,選擇 AI Providers。
  2. 新增合適的供應商類型,並為項目取一個容易辨認的名稱。
  3. 確認基底網址,輸入供應商要求的憑證。
  4. 選擇或輸入該帳號可使用的模型。
  5. 使用 Verify 檢查連線,處理回報的設定問題。
  6. 確認設定已儲存、供應商已啟用,再到自訂工具設定中選取它。

請使用服務的 API 憑證,不是聊天網站的密碼。供應商 API 存取與計費,和 Frset 自身方案分開。可用模型可能變動,請使用模型清單或供應商目前的文件,不要只依賴教學中的舊模型名稱。

連接本機 Ollama 模型

依 Ollama 官方設定說明準備服務,確認想使用的本機模型已安裝且可用。它的相容性文件說明了此連線使用的端點。

在 Frset 中:

  1. 在 AI Providers 設定新增 Ollama 供應商。
  2. 若使用同一台 Mac 上的預設服務,保留 http://localhost:11434/v1 作為基底網址。
  3. 選擇或輸入已安裝本機模型的完整正確名稱。
  4. 在 Ollama 執行時使用 Verify,檢查連線。
  5. 確認設定已儲存、供應商已啟用,再將自訂工具綁定到它。
  6. 先執行一段不含敏感資訊的短範例,檢查結果後再處理實際資料。

預設本機 Ollama 設定不要求在 Frset 中填入供應商 API 金鑰。不同位址、代理服務或雲端模型可能有不同要求。這個同一台 Mac 上的流程,不需要將本機服務開放給其他電腦。

改寫提示詞前,先排查設定

若無法連上供應商,先確認服務是否執行、基底網址是否正確。遠端供應商還需檢查網路與憑證。若模型不可用,請確認完整識別碼,以及它是否已在本機安裝,或遠端帳號是否有權存取。

本機回應緩慢或不完整,可能與模型大小、輸入長度及可用記憶體有關。先試較短段落,以及適合這台 Mac 的模型。可用系統監控觀察資源使用;單一 CPU 百分比無法判斷請求失敗的原因。

若連線正常,但結果不符合要求,再調整提示詞。自訂 AI 工具指南提供摘要、改寫與行動項目擷取範例。這些都是文字工具;連接供應商不會讓它們變成任意指令碼執行器或圖片產生工具。

保留可重複的比較方式

對每個候選模型試用相同的幾段文字:一個一般情況、一個含糊情況,以及一個包含必須保留之名稱或數字的情況。先比較正確性,再比較回應長度或速度。保留可辨識的供應商與模型資訊,方便在變更後重做檢查。

使用遠端服務時,它會收到提示詞與提交的文字。使用本機推論時,模型下載與更新仍可能需要網路。請閱讀 Frset 隱私權政策與供應商文件,了解目前設定的資料傳送路徑。