Kies een model voor aangepaste AI-tools: clouddiensten of lokaal Ollama

Een aangepaste AI-tool heeft een aanbieder nodig om de prompt en invoer te verwerken. In Frset kun je een externe dienst koppelen of een Ollama-dienst met een lokaal model op je Mac gebruiken. Kies op basis van de taak, de locatie waar de tekst wordt verwerkt en wat je computer comfortabel kan uitvoeren; een lokaal endpoint alleen bewijst niet dat het gekozen model lokaal draait.

Bepaal wat voor deze taak belangrijk is

Test bij een korte herschrijving of het model namen en betekenis behoudt. Controleer bij het extraheren van acties of het ontbrekende verantwoordelijken en datums als niet gespecificeerd laat staan. Vergelijk aanbieders met hetzelfde korte voorbeeld voordat je er een kiest voor regelmatig gebruik.

• Externe dienst: De aanvraag wordt verwerkt door de ingestelde aanbieder. Controleer de inloggegevens, toegang tot het model, gebruikskosten en het gegevensbeleid.
• Lokaal Ollama-model: De modelinferentie gebruikt de bronnen van je Mac. Richt de dienst in en download een geschikt lokaal model voordat je Frset koppelt.
• Ollama-cloudmodel: Een lokale Ollama-dienst kan aanvragen ook doorsturen naar een cloudmodel. Dat is een andere gegevensroute dan lokale inferentie.

Ollama legt lokale en cloudverwerking uit in de FAQ. Selecteer een geïnstalleerd lokaal model als lokale verwerking vereist is. Frset installeert geen modellen en verandert de verwerkingslocatie van de aanbieder niet voor je.

Koppel een externe aanbieder

1. Open de instellingen van Frset en kies AI Providers.
2. Voeg het juiste type aanbieder toe en geef het item een herkenbare naam.
3. Controleer de basis-URL en voer de vereiste inloggegevens van de aanbieder in.
4. Selecteer of voer een model in waartoe dat account toegang heeft.
5. Gebruik Verify om de verbinding te controleren en gemelde configuratieproblemen op te lossen.
6. Controleer of de configuratie is opgeslagen en de aanbieder is ingeschakeld; selecteer die daarna in de instellingen van je aangepaste tool.

Gebruik de API-inloggegevens van de dienst, niet het wachtwoord van de chatwebsite. API-toegang en facturering van de aanbieder staan los van je Frset-abonnement. Beschikbare modellen kunnen veranderen; raadpleeg daarom de modellijst of actuele documentatie van de aanbieder in plaats van op een oude modelnaam in een tutorial te vertrouwen.

Koppel een lokaal Ollama-model

Bereid Ollama voor volgens de officiële installatie-instructies en controleer of het gewenste lokale model is geïnstalleerd en beschikbaar is. De compatibiliteitsdocumentatie beschrijft het endpoint voor deze verbinding.

In Frset:

1. Voeg in de instellingen van AI Providers een aanbieder van het type Ollama toe.
2. Behoud http://localhost:11434/v1 als basis-URL voor de standaarddienst op dezelfde Mac.
3. Selecteer of voer de exacte naam van je geïnstalleerde lokale model in.
4. Gebruik Verify terwijl Ollama actief is om de verbinding te controleren.
5. Controleer of de configuratie is opgeslagen en de aanbieder is ingeschakeld; koppel daarna je aangepaste tool eraan.
6. Voer een kort, niet-gevoelig voorbeeld in en controleer het resultaat voordat je echt materiaal gebruikt.

Voor de standaard lokale Ollama-configuratie is in Frset geen API-sleutel van de aanbieder nodig. Een ander adres, een proxy of een cloudmodel kan andere vereisten hebben. Voor deze workflow op dezelfde Mac hoef je de lokale dienst niet toegankelijk te maken voor andere computers.

Controleer eerst de configuratie als het resultaat uitblijft

Kan de aanbieder niet worden bereikt, controleer dan eerst of de dienst actief is en of de basis-URL klopt. Controleer bij een externe aanbieder ook de netwerkverbinding en inloggegevens. Is een model niet beschikbaar, controleer dan de exacte identificatie en of het lokaal is geïnstalleerd of toegankelijk is voor het externe account.

Een traag of onvolledig antwoord van een lokaal model kan komen door de modelgrootte, invoerlengte en beschikbare geheugenruimte. Begin met een kortere passage en een model dat op je Mac past. Gebruik systeemmonitoring om het gebruik van systeembronnen te bekijken; alleen een CPU-percentage kan niet vaststellen waarom een aanvraag is mislukt.

Werkt de verbinding wel, maar voldoet het resultaat niet aan je eisen, verbeter dan pas de prompt. De gids voor aangepaste AI-tools bevat voorbeelden voor samenvattingen, herschrijvingen en actiepunten. Dit zijn teksttools; door een aanbieder te koppelen worden het geen willekeurige scriptuitvoerders of tools voor afbeeldingen genereren.

Houd een vergelijking bij die je kunt herhalen

Probeer dezelfde paar passages met elke kandidaat: een gewone situatie, een dubbelzinnig geval en een geval met namen of cijfers die behouden moeten blijven. Vergelijk eerst de juistheid, daarna de lengte of snelheid van het antwoord. Houd de aanbieder en het model herkenbaar, zodat je de controle na een wijziging kunt herhalen.

Bij een externe dienst ontvangt die de prompt en de tekst die je instuurt. Bij lokale inferentie kunnen modeldownloads en updates nog steeds een netwerkverbinding vereisen. Raadpleeg het privacybeleid van Frset en de documentatie van je aanbieder voor de gegevensroute die bij jouw configuratie hoort.