Frset
English 简体中文 繁體中文 日本語 한국어 Français Deutsch Español Italiano Português Nederlands
ダウンロード

ブログ

カスタムAIツールのモデル選び：クラウドサービスかローカルOllamaか

まずプロバイダーを接続して短いテキスト作業を試します。素材の内容、モデルの品質、利用できるリソースに合わせて処理場所を選びましょう。

約6分で読めます

カスタムAIツールでプロンプトと入力を処理するには、プロバイダーが必要です。Frsetでは、リモートサービスか、Mac上でローカルモデルを動かすOllamaサービスに接続できます。作業の内容、テキストの処理場所、Macで無理なく動かせるモデルを基準に選びましょう。ローカルのエンドポイントを指定しただけでは、選択したモデルがローカルで動作するとは限りません。

今回の作業で重視することを決める

短い文章の書き換えなら、モデルが名前と意味を維持できるか試します。対応事項の抽出なら、担当者や日付が書かれていない場合に未指定のままにするか確認します。繰り返し使うものを決める前に、同じ短いサンプルでプロバイダーを比べましょう。

  • リモートサービス： 設定したプロバイダーがリクエストを処理します。認証情報、モデルへのアクセス、利用料金、データポリシーを確認してください。
  • ローカルOllamaモデル： モデルの推論にMacのリソースを使います。Frsetに接続する前に、サービスを準備して適切なローカルモデルをダウンロードします。
  • Ollamaのクラウドモデル： ローカルのOllamaサービスから、クラウドモデルにリクエストを送ることもできます。これはローカル推論とは異なるデータ経路です。

OllamaはFAQで、ローカル処理とクラウド処理を説明しています。ローカル処理が必要な場合は、インストール済みのローカルモデルを選択してください。Frsetがモデルをインストールしたり、プロバイダー側の処理場所を変更したりすることはありません。

リモートプロバイダーに接続する

  1. Frsetの設定を開き、AI Providersを選択します。
  2. 適切な種類のプロバイダーを追加し、見分けやすい名前を付けます。
  3. ベースURLを確認し、そのプロバイダーで必要な認証情報を入力します。
  4. アカウントで利用できるモデルを選ぶか、モデル名を入力します。
  5. Verifyを使って接続を確認し、報告された設定の問題を解決します。
  6. 設定が保存され、プロバイダーが有効になっていることを確認してから、カスタムツールの設定で選択します。

チャットサイトのパスワードではなく、サービスのAPI認証情報を使ってください。プロバイダーのAPI利用と請求は、Frset自体のプランとは別です。利用できるモデルは変わる場合があるため、チュートリアルに載った古いモデル名に頼らず、モデル一覧か最新のプロバイダードキュメントを確認しましょう。

ローカルのOllamaモデルに接続する

Ollamaを公式のセットアップ手順に沿って準備し、使いたいローカルモデルがインストール済みで利用できることを確認します。この接続に使うエンドポイントは、互換性に関するドキュメントで説明されています。

Frsetでは次のように設定します。

  1. AI Providers設定でOllamaプロバイダーを追加します。
  2. 同じMac上の標準サービスを使う場合は、ベースURLをhttp://localhost:11434/v1のままにします。
  3. インストールしたローカルモデルの正確な名前を選ぶか入力します。
  4. Ollamaの実行中にVerifyを使って接続を確認します。
  5. 設定が保存され、プロバイダーが有効になっていることを確認してから、カスタムツールに割り当てます。
  6. 機密情報を含まない短いサンプルを実行し、実際の素材に使う前に結果を確認します。

標準のローカルOllama設定では、FrsetにプロバイダーAPIキーを入力する必要はありません。別のアドレス、プロキシ、クラウドモデルには異なる要件がある場合があります。同じMacだけで使う場合、ほかのコンピューターからローカルサービスにアクセスできるよう公開する必要はありません。

プロンプトを書き換える前に設定を診断する

プロバイダーに接続できない場合は、まずサービスが実行中か、ベースURLが正しいかを確認します。リモートプロバイダーでは、ネットワーク接続と認証情報も確認してください。モデルを利用できない場合は、正確な識別子と、モデルがローカルにインストール済みか、リモートアカウントから利用可能かを確認します。

ローカルモデルの回答が遅い、または途中で終わる場合は、モデルのサイズ、入力の長さ、利用可能なメモリが影響している可能性があります。短い文章と、Macで無理なく動かせるモデルから試してください。システムモニタリングでリソース使用状況を確認できますが、CPU使用率だけでリクエストが失敗した原因を特定することはできません。

接続が機能していて結果が要件を満たさない場合は、その時点でプロンプトを調整します。カスタムAIツールのガイドでは、要約、書き換え、対応事項の抽出例を紹介しています。これらはテキストツールです。プロバイダーを接続しても、任意のスクリプト実行ツールや画像生成ツールになるわけではありません。

同じ条件で繰り返し比較する

候補ごとに同じ文章をいくつか試します。通常の例、曖昧な例、維持すべき名前や数字を含む例を用意しましょう。回答の長さや速さより先に、正確さを比べます。プロバイダーとモデルを識別できるように記録し、設定を変えたあとも同じ確認を繰り返せるようにします。

リモートサービスには、プロンプトと送信したテキストが渡ります。ローカル推論を使う場合でも、モデルのダウンロードや更新にはネットワーク接続が必要なことがあります。利用環境のデータ経路について、Frsetプライバシーポリシーとプロバイダーのドキュメントを確認してください。