博客
为自定义 AI 工具选择模型:在线服务与本地 Ollama
先连接服务商,用简短文字测试,再根据资料性质、模型效果和电脑资源选择处理方式。
自定义 AI 工具需要服务商来处理提示词和输入内容。在 Frset 中,可以连接远程服务,也可以接入 Mac 上运行本地模型的 Ollama。选择时考虑任务需求、文字在哪里处理,以及电脑能承担的负载;仅看到本机地址,并不能证明所选模型一定在本地运行。
先明确这项任务最看重什么
改写短消息时,检查模型能否保留人名和原意;提取行动项时,检查它是否会把缺失的负责人和日期标为未说明。用同一小段文字比较,再决定哪个服务商适合反复使用。
- 远程服务:请求由所配置的服务商处理,需要确认凭据、模型权限、用量费用和数据政策。
- Ollama 本地模型:推理使用 Mac 自身资源,连接 Frset 前先准备服务并下载适合的本地模型。
- Ollama 云端模型:本机 Ollama 服务也可能将请求交给云端模型,数据路径与本地推理不同。
Ollama 在其 FAQ 中说明了本地与云端处理的区别。需要本地处理时,选择已安装的本地模型。Frset 不会替你安装模型,也不会替服务商改变实际处理位置。
接入远程服务商
- 打开 Frset 设置,进入 AI 服务商。
- 添加相应类型,给这个配置起一个容易辨认的名称。
- 检查服务地址,填写该服务商要求的凭据。
- 选择或输入当前账号可以使用的模型。
- 点击验证(Verify)检查连接,处理提示的配置问题。
- 确认配置已保存、服务商已启用,再到自定义工具设置中选择它。
使用服务商的 API 凭据,不要填聊天网站的登录密码。服务商 API 权限和计费与 Frset 自身方案分开。可用模型会变化,优先参考模型列表或服务商当前文档,不要照搬旧教程里的模型名称。
接入 Ollama 本地模型
按照 Ollama 官方说明准备服务,确认需要的本地模型已经安装并可用。其兼容性文档说明了此类连接使用的接口地址。
在 Frset 中:
- 在 AI 服务商设置中添加 Ollama。
- 如果使用同一台 Mac 上的默认服务,保留
http://localhost:11434/v1作为服务地址。 - 选择或输入已安装本地模型的准确名称。
- 保持 Ollama 运行,点击验证(Verify)检查连接。
- 确认配置已保存、服务商已启用,将自定义工具绑定到它。
- 用简短、非敏感文字运行一次,检查结果后再处理正式资料。
Frset 中默认的本机 Ollama 配置不要求服务商 API 密钥。其他地址、代理或云端模型可能有不同要求。这个同一台 Mac 内使用的流程,不需要把本地服务开放给其他电脑。
先排查接入问题,再调整提示词
无法连接时,先检查服务是否运行、地址是否正确。远程服务还要检查网络和凭据。模型不可用时,核对准确标识,并确认它已经安装在本地,或当前远程账号有使用权限。
本地回答较慢或不完整,可能与模型大小、输入长度和可用内存有关。先缩短文字,选择适合这台 Mac 的模型。可以用系统监测观察资源变化,但单个 CPU 百分比无法解释请求失败的全部原因。
连接正常、结果却不符合要求时,再改提示词。自定义 AI 工具指南提供了总结、改写和行动项提取示例。这些工具面向文字处理,连接服务商并不会让它们变成任意脚本执行器或图片生成工具。
用固定样本比较结果
给候选模型提供同样的几段文字:一个常见例子、一个含义有歧义的例子,再加一个必须保留人名或数字的例子。先比较是否正确,再看长度和速度。记清服务商与模型,修改后才能重复核对。
使用远程服务时,提示词和提交的文字会发送给该服务。选择本地推理时,模型下载和更新仍可能需要联网。根据当前配置,查看 Frset 隐私政策和服务商文档,确认对应的数据路径。