博客

为自定义 AI 工具选择模型:在线服务与本地 Ollama

先连接服务商,用简短文字测试,再根据资料性质、模型效果和电脑资源选择处理方式。

自定义 AI 工具需要服务商来处理提示词和输入内容。在 Frset 中,可以连接远程服务,也可以接入 Mac 上运行本地模型的 Ollama。选择时考虑任务需求、文字在哪里处理,以及电脑能承担的负载;仅看到本机地址,并不能证明所选模型一定在本地运行。

先明确这项任务最看重什么

改写短消息时,检查模型能否保留人名和原意;提取行动项时,检查它是否会把缺失的负责人和日期标为未说明。用同一小段文字比较,再决定哪个服务商适合反复使用。

  • 远程服务:请求由所配置的服务商处理,需要确认凭据、模型权限、用量费用和数据政策。
  • Ollama 本地模型:推理使用 Mac 自身资源,连接 Frset 前先准备服务并下载适合的本地模型。
  • Ollama 云端模型:本机 Ollama 服务也可能将请求交给云端模型,数据路径与本地推理不同。

Ollama 在其 FAQ 中说明了本地与云端处理的区别。需要本地处理时,选择已安装的本地模型。Frset 不会替你安装模型,也不会替服务商改变实际处理位置。

接入远程服务商

  1. 打开 Frset 设置,进入 AI 服务商。
  2. 添加相应类型,给这个配置起一个容易辨认的名称。
  3. 检查服务地址,填写该服务商要求的凭据。
  4. 选择或输入当前账号可以使用的模型。
  5. 点击验证(Verify)检查连接,处理提示的配置问题。
  6. 确认配置已保存、服务商已启用,再到自定义工具设置中选择它。

使用服务商的 API 凭据,不要填聊天网站的登录密码。服务商 API 权限和计费与 Frset 自身方案分开。可用模型会变化,优先参考模型列表或服务商当前文档,不要照搬旧教程里的模型名称。

接入 Ollama 本地模型

按照 Ollama 官方说明准备服务,确认需要的本地模型已经安装并可用。其兼容性文档说明了此类连接使用的接口地址。

在 Frset 中:

  1. 在 AI 服务商设置中添加 Ollama。
  2. 如果使用同一台 Mac 上的默认服务,保留 http://localhost:11434/v1 作为服务地址。
  3. 选择或输入已安装本地模型的准确名称。
  4. 保持 Ollama 运行,点击验证(Verify)检查连接。
  5. 确认配置已保存、服务商已启用,将自定义工具绑定到它。
  6. 用简短、非敏感文字运行一次,检查结果后再处理正式资料。

Frset 中默认的本机 Ollama 配置不要求服务商 API 密钥。其他地址、代理或云端模型可能有不同要求。这个同一台 Mac 内使用的流程,不需要把本地服务开放给其他电脑。

先排查接入问题,再调整提示词

无法连接时,先检查服务是否运行、地址是否正确。远程服务还要检查网络和凭据。模型不可用时,核对准确标识,并确认它已经安装在本地,或当前远程账号有使用权限。

本地回答较慢或不完整,可能与模型大小、输入长度和可用内存有关。先缩短文字,选择适合这台 Mac 的模型。可以用系统监测观察资源变化,但单个 CPU 百分比无法解释请求失败的全部原因。

连接正常、结果却不符合要求时,再改提示词。自定义 AI 工具指南提供了总结、改写和行动项提取示例。这些工具面向文字处理,连接服务商并不会让它们变成任意脚本执行器或图片生成工具。

用固定样本比较结果

给候选模型提供同样的几段文字:一个常见例子、一个含义有歧义的例子,再加一个必须保留人名或数字的例子。先比较是否正确,再看长度和速度。记清服务商与模型,修改后才能重复核对。

使用远程服务时,提示词和提交的文字会发送给该服务。选择本地推理时,模型下载和更新仍可能需要联网。根据当前配置,查看 Frset 隐私政策和服务商文档,确认对应的数据路径。