Scegli un modello per gli strumenti IA personalizzati: servizi cloud o Ollama locale

Uno strumento IA personalizzato ha bisogno di un fornitore IA per elaborare il prompt e il testo inserito. In Frset puoi collegare un servizio remoto oppure un servizio Ollama che esegue un modello locale sul Mac. Scegli in base all'attività, a dove verrà elaborato il testo e alle risorse che il tuo computer può gestire senza difficoltà: il fatto che l'endpoint sia locale non dimostra, da solo, che anche il modello selezionato venga eseguito localmente.

Decidi cosa conta per questa attività

Per una breve riscrittura, verifica che il modello mantenga nomi e significato. Per estrarre azioni, controlla che lasci non specificati responsabili e date mancanti. Prima di scegliere un fornitore IA per un uso ricorrente, confrontali con lo stesso breve testo di prova.

• Servizio remoto: la richiesta viene elaborata dal fornitore IA configurato. Controlla credenziali, accesso ai modelli, costi di utilizzo e policy sui dati.
• Modello Ollama locale: l'inferenza del modello usa le risorse del Mac. Prima di collegare Frset, configura il servizio e scarica un modello locale adatto.
• Modello Ollama cloud: un servizio Ollama locale può anche inoltrare le richieste a un modello cloud. Il percorso dei dati è diverso da quello dell'inferenza locale.

Nelle sue FAQ, Ollama spiega l'elaborazione locale e quella cloud. Se vuoi che il testo venga elaborato localmente, seleziona un modello locale installato. Frset non installa modelli né modifica la posizione in cui il fornitore IA elabora i dati.

Collega un fornitore IA remoto

1. Apri le impostazioni di Frset e seleziona AI Providers.
2. Aggiungi il tipo di fornitore IA appropriato e assegna alla voce un nome riconoscibile.
3. Controlla l'URL di base e inserisci le credenziali richieste dal fornitore IA.
4. Seleziona o inserisci un modello disponibile per il tuo account.
5. Usa Verify per controllare la connessione e risolvere eventuali problemi di configurazione segnalati.
6. Verifica che la configurazione sia stata salvata e che il fornitore IA sia attivo, poi selezionalo nelle impostazioni dello strumento personalizzato.

Usa le credenziali API del servizio, non la password del suo sito di chat. L'accesso alle API del fornitore IA e la relativa fatturazione sono separati dal piano Frset. I modelli disponibili possono cambiare: consulta l'elenco dei modelli o la documentazione aggiornata del fornitore IA, senza basarti sul nome riportato tempo fa in una guida.

Collega un modello Ollama locale

Prepara Ollama seguendo le istruzioni ufficiali e verifica che il modello locale che vuoi usare sia installato e disponibile. La documentazione sulla compatibilità descrive l'endpoint da usare per questa connessione.

In Frset:

1. Aggiungi un fornitore IA Ollama nelle impostazioni AI Providers.
2. Mantieni http://localhost:11434/v1 come URL di base per il servizio predefinito sullo stesso Mac.
3. Seleziona o inserisci il nome esatto del modello locale installato.
4. Usa Verify mentre Ollama è in esecuzione per controllare la connessione.
5. Verifica che la configurazione sia stata salvata e che il fornitore IA sia attivo, poi collega a esso lo strumento personalizzato.
6. Esegui una breve prova con testo non sensibile e controlla il risultato prima di usare materiale reale.

La configurazione locale predefinita di Ollama non richiede una chiave API del fornitore IA in Frset. Un indirizzo, un proxy o un modello cloud diversi potrebbero avere requisiti differenti. Per questo flusso di lavoro sullo stesso Mac, non è necessario rendere il servizio locale accessibile ad altri computer.

Risolvi i problemi di configurazione prima di riscrivere il prompt

Se non riesci a raggiungere il fornitore IA, controlla innanzitutto che il servizio sia in esecuzione e che l'URL di base sia corretto. Per un fornitore IA remoto, controlla anche la connessione di rete e le credenziali. Se un modello non è disponibile, verifica l'identificativo esatto e che sia installato localmente o accessibile dall'account remoto.

Una risposta locale lenta o incompleta può dipendere dalle dimensioni del modello, dalla lunghezza del testo inserito e dalla memoria disponibile. Inizia con un passaggio più breve e un modello adatto al Mac. Usa il monitoraggio del sistema per osservare l'uso delle risorse; la sola percentuale della CPU non basta a determinare perché una richiesta non è riuscita.

Se la connessione funziona ma il risultato non soddisfa i requisiti, allora perfeziona il prompt. La guida agli strumenti IA personalizzati include esempi per riepiloghi, riscritture ed estrazione di azioni. Sono strumenti per il testo: collegare un fornitore IA non li trasforma in esecutori generici di script o strumenti per generare immagini.

Mantieni un confronto ripetibile

Prova gli stessi passaggi con ogni opzione: uno ordinario, uno ambiguo e uno con nomi o numeri da mantenere. Prima di confrontare lunghezza o velocità della risposta, verifica la correttezza. Tieni traccia del fornitore IA e del modello per poter ripetere il confronto dopo una modifica.

Quando usi un servizio remoto, questo riceve il prompt e il testo che invii. Con l'inferenza locale, il download e gli aggiornamenti dei modelli possono comunque richiedere una connessione di rete. Consulta l'Informativa sulla privacy di Frset e la documentazione del fornitore IA per verificare il percorso dei dati previsto dalla tua configurazione.