사용자 지정 AI 도구에 맞는 모델 선택: 클라우드 서비스와 로컬 Ollama

사용자 지정 AI 도구는 프롬프트와 입력을 처리할 제공업체가 필요합니다. Frset에서는 원격 서비스나 Mac에서 로컬 모델을 실행하는 Ollama 서비스에 연결할 수 있습니다. 작업, 텍스트가 처리될 위치, 컴퓨터가 무리 없이 감당할 수 있는 작업량을 기준으로 선택하세요. 단, 엔드포인트가 로컬이라는 사실만으로 선택한 모델도 로컬에서 실행된다고 단정할 수는 없습니다.

이 작업에서 중요한 기준 정하기

짧은 문장 다듬기 작업이라면 이름과 의미를 유지하는지 확인하세요. 할 일 추출 작업에서는 담당자와 날짜가 없는 경우 이를 지정되지 않았다고 남겨두는지 살펴보세요. 반복해서 쓸 도구를 정하기 전에 같은 간단한 예시로 제공업체를 비교하세요.

• 원격 서비스: 설정한 제공업체가 요청을 처리합니다. 자격 증명, 모델 이용 권한, 사용 요금, 데이터 정책을 확인하세요.
• 로컬 Ollama 모델: Mac의 리소스로 모델 추론을 실행합니다. Frset에 연결하기 전에 서비스를 준비하고 사용할 로컬 모델을 다운로드하세요.
• Ollama 클라우드 모델: 로컬 Ollama 서비스에서 클라우드 모델로 요청을 전달할 수도 있습니다. 이는 로컬 추론과 다른 데이터 흐름입니다.

Ollama의 FAQ에서 로컬 및 클라우드 처리 방식을 설명합니다. 로컬 처리가 필요하다면 설치된 로컬 모델을 선택하세요. Frset은 모델을 설치하거나 제공업체의 처리 위치를 대신 바꾸지 않습니다.

원격 제공업체 연결하기

1. Frset 설정을 열고 AI Providers를 선택합니다.
2. 적절한 제공업체 유형을 추가하고 알아보기 쉬운 이름을 지정합니다.
3. 기본 URL을 확인하고 제공업체에서 요구하는 자격 증명을 입력합니다.
4. 해당 계정에서 사용할 수 있는 모델을 선택하거나 입력합니다.
5. Verify를 사용해 연결을 확인하고 보고된 설정 문제를 해결합니다.
6. 구성이 저장되고 제공업체가 활성화되었는지 확인한 다음 사용자 지정 도구 설정에서 선택합니다.

채팅 웹사이트의 비밀번호가 아니라 서비스의 API 자격 증명을 사용하세요. 제공업체 API 이용 및 결제는 Frset 요금제와 별개입니다. 사용할 수 있는 모델은 바뀔 수 있으므로 예전 안내 글에 적힌 모델 이름만 믿지 말고 모델 목록이나 최신 제공업체 문서를 확인하세요.

로컬 Ollama 모델 연결하기

Ollama의 공식 설정 안내에 따라 준비하고 사용하려는 로컬 모델이 설치되어 이용 가능한지 확인하세요. Ollama의 호환성 문서에서 이 연결에 사용하는 엔드포인트를 설명합니다.

Frset에서 다음 단계를 진행합니다.

1. AI Providers 설정에서 Ollama 제공업체를 추가합니다.
2. 같은 Mac에서 기본 서비스를 사용하는 경우 기본 URL http://localhost:11434/v1을 유지합니다.
3. 설치된 로컬 모델의 정확한 이름을 선택하거나 입력합니다.
4. Ollama가 실행 중일 때 Verify를 사용해 연결을 확인합니다.
5. 구성이 저장되고 제공업체가 활성화되었는지 확인한 다음 사용자 지정 도구에 연결합니다.
6. 민감하지 않은 짧은 예시를 실행해 실제 자료에 사용하기 전에 결과를 확인합니다.

기본 로컬 Ollama 설정에서는 Frset에 제공업체 API 키를 입력할 필요가 없습니다. 다른 주소, 프록시, 클라우드 모델에는 별도 요건이 있을 수 있습니다. 같은 Mac에서 사용하는 흐름을 위해 로컬 서비스를 다른 컴퓨터에 공개할 필요는 없습니다.

프롬프트를 고치기 전에 설정 문제 진단하기

제공업체에 연결할 수 없다면 먼저 서비스가 실행 중인지, 기본 URL이 올바른지 확인하세요. 원격 제공업체라면 네트워크 연결과 자격 증명도 확인합니다. 모델을 사용할 수 없다면 정확한 식별자, 로컬 설치 여부 또는 원격 계정의 이용 가능 여부를 확인하세요.

로컬 응답이 느리거나 불완전하다면 모델 크기, 입력 길이, 사용 가능한 메모리가 영향을 줄 수 있습니다. 짧은 문단과 Mac에 맞는 모델부터 시작하세요. 시스템 모니터링으로 리소스 사용량을 관찰할 수 있습니다. CPU 사용률 하나만으로 요청이 실패한 이유를 알 수는 없습니다.

연결은 되지만 결과가 요구에 맞지 않는다면 그때 프롬프트를 다듬으세요. 사용자 지정 AI 도구 안내에서 요약, 문장 다듬기, 할 일 추출 예시를 확인할 수 있습니다. 이 기능은 텍스트 도구입니다. 제공업체를 연결해도 임의의 스크립트를 실행하거나 이미지를 생성하는 도구가 되지는 않습니다.

반복 가능한 비교 방법 마련하기

후보마다 같은 문단 몇 개를 사용하세요. 일반적인 사례, 모호한 사례, 보존해야 할 이름이나 숫자가 있는 사례를 준비합니다. 응답 길이나 속도보다 정확성을 먼저 비교하세요. 변경 후에도 같은 시험을 반복할 수 있도록 제공업체와 모델을 알아보기 쉽게 기록하세요.

원격 서비스를 사용하면 프롬프트와 제출한 텍스트가 제공업체에 전달됩니다. 로컬 추론을 사용하는 경우에도 모델 다운로드와 업데이트에는 네트워크 연결이 필요할 수 있습니다. 현재 설정의 데이터 흐름은 Frset 개인정보 처리방침과 제공업체 문서에서 확인하세요.