Blog
Ein Modell für eigene KI-Tools wählen: Cloud-Dienste oder lokales Ollama
Verbinden Sie zuerst einen Anbieter, testen Sie eine kleine Textaufgabe und entscheiden Sie anhand des Materials, der Modellqualität und der verfügbaren Ressourcen, wo die Verarbeitung stattfindet.
Ein eigenes KI-Tool benötigt einen Anbieter, der Prompt und Eingabe verarbeitet. In Frset können Sie einen Cloud-Dienst oder einen Ollama-Dienst verbinden, der ein lokales Modell auf Ihrem Mac ausführt. Wählen Sie anhand der Aufgabe, des Verarbeitungsorts und der Ressourcen, die Ihr Computer bereitstellen kann. Ein lokaler Endpunkt allein beweist nicht, dass das ausgewählte Modell lokal ausgeführt wird.
Entscheiden Sie, worauf es bei dieser Aufgabe ankommt
Prüfen Sie bei einer kurzen Überarbeitung, ob das Modell Namen und Bedeutung beibehält. Achten Sie beim Herausarbeiten von Aufgaben darauf, dass fehlende Verantwortliche und Fristen nicht ergänzt werden. Vergleichen Sie Anbieter mit derselben kleinen Beispielpassage, bevor Sie sich für eine wiederholte Nutzung entscheiden.
- Cloud-Dienst: Der konfigurierte Anbieter verarbeitet die Anfrage. Prüfen Sie Zugangsdaten, Modellzugriff, Nutzungskosten und Datenschutzbestimmungen.
- Lokales Ollama-Modell: Die Modellausführung nutzt die Ressourcen Ihres Macs. Richten Sie den Dienst ein und laden Sie ein passendes lokales Modell herunter, bevor Sie Frset verbinden.
- Ollama-Cloud-Modell: Ein lokaler Ollama-Dienst kann Anfragen auch an ein Cloud-Modell weiterleiten. Das ist ein anderer Datenweg als die lokale Modellausführung.
Ollama erläutert die lokale und Cloud-Verarbeitung in den häufigen Fragen. Wählen Sie ein installiertes lokales Modell, wenn die lokale Verarbeitung Voraussetzung ist. Frset installiert keine Modelle und ändert nicht den Verarbeitungsort des Anbieters.
Einen Cloud-Anbieter verbinden
- Öffnen Sie die Frset-Einstellungen und wählen Sie AI Providers.
- Fügen Sie den passenden Anbietertyp hinzu und geben Sie dem Eintrag einen erkennbaren Namen.
- Prüfen Sie die Basis-URL und geben Sie die erforderlichen Zugangsdaten des Anbieters ein.
- Wählen oder nennen Sie ein Modell, auf das dieses Konto zugreifen kann.
- Verwenden Sie Verify, um die Verbindung zu prüfen und gemeldete Konfigurationsprobleme zu beheben.
- Prüfen Sie, ob die Konfiguration gespeichert und der Anbieter aktiviert ist. Wählen Sie ihn dann in den Einstellungen Ihres eigenen Tools aus.
Verwenden Sie die API-Zugangsdaten des Dienstes und nicht das Passwort für dessen Chat-Webseite. API-Zugriff und Abrechnung des Anbieters sind von Frsets Tarif getrennt. Verfügbare Modelle können sich ändern. Verwenden Sie daher die Modellliste oder die aktuelle Dokumentation des Anbieters, statt sich auf einen alten Modellnamen in einem Tutorial zu verlassen.
Ein lokales Ollama-Modell verbinden
Richten Sie Ollama anhand der offiziellen Anweisungen ein und stellen Sie sicher, dass das gewünschte lokale Modell installiert und verfügbar ist. Die Kompatibilitätsdokumentation beschreibt den für diese Verbindung verwendeten Endpunkt.
Gehen Sie in Frset folgendermaßen vor:
- Fügen Sie in den Einstellungen unter AI Providers einen Anbieter vom Typ Ollama hinzu.
- Belassen Sie die Basis-URL für den Standarddienst auf demselben Mac bei
http://localhost:11434/v1. - Wählen oder geben Sie den exakten Namen Ihres installierten lokalen Modells ein.
- Verwenden Sie Verify, während Ollama läuft, um die Verbindung zu prüfen.
- Prüfen Sie, ob die Konfiguration gespeichert und der Anbieter aktiviert ist. Verknüpfen Sie dann Ihr eigenes Tool damit.
- Führen Sie eine kurze, nicht sensible Beispielaufgabe aus und prüfen Sie das Ergebnis, bevor Sie echtes Material verwenden.
Für die Standardkonfiguration von lokalem Ollama ist in Frset kein API-Schlüssel des Anbieters erforderlich. Eine andere Adresse, ein Proxy oder ein Cloud-Modell können zusätzliche Anforderungen mit sich bringen. Für diesen Arbeitsablauf auf demselben Mac müssen Sie den lokalen Dienst nicht für andere Computer freigeben.
Prüfen Sie zuerst die Einrichtung, bevor Sie den Prompt überarbeiten
Ist der Anbieter nicht erreichbar, prüfen Sie zunächst, ob der Dienst läuft und die Basis-URL stimmt. Bei einem Cloud-Anbieter kontrollieren Sie auch Netzwerkzugriff und Zugangsdaten. Ist ein Modell nicht verfügbar, prüfen Sie die genaue Kennung und ob es lokal installiert oder über das Cloud-Konto verfügbar ist.
Eine langsame oder unvollständige lokale Antwort kann an der Modellgröße, Eingabelänge oder verfügbarem Arbeitsspeicher liegen. Beginnen Sie mit einer kürzeren Passage und einem Modell, das auf den Mac passt. Beobachten Sie die Ressourcennutzung mit der Systemüberwachung; ein CPU-Prozentwert allein erklärt nicht, warum eine Anfrage fehlgeschlagen ist.
Funktioniert die Verbindung, aber das Ergebnis erfüllt Ihre Anforderungen nicht, verfeinern Sie anschließend den Prompt. Der Ratgeber zu eigenen KI-Tools enthält Beispiele für Zusammenfassungen, Überarbeitungen und das Herausarbeiten von Aufgaben. Es sind Textwerkzeuge; ein verbundener Anbieter macht daraus weder beliebige Skriptausführer noch Bildgeneratoren.
Einen wiederholbaren Vergleich durchführen
Probieren Sie dieselben wenigen Passagen mit jedem Kandidaten aus: einen normalen Fall, einen mehrdeutigen Fall und einen Fall mit Namen oder Zahlen, die erhalten bleiben müssen. Vergleichen Sie zuerst die inhaltliche Richtigkeit und danach Antwortlänge oder Geschwindigkeit. Notieren Sie Anbieter und Modell eindeutig, damit Sie den Vergleich nach einer Änderung wiederholen können.
Bei einem Cloud-Dienst erhält dieser den Prompt und den übermittelten Text. Bei lokaler Inferenz benötigen Modell-Downloads und Aktualisierungen möglicherweise weiterhin eine Netzwerkverbindung. Lesen Sie die Datenschutzerklärung von Frset und die Dokumentation des Anbieters, um den für Ihre Einrichtung geltenden Datenweg zu prüfen.