GPT4All ist eine kostenlose Open-Source-Lösung für die Arbeit mit KI-Sprachmodellen. Ein einfacher, lokal installierter Text-zu-Text-Generator, der auch auf Dokumente zugreifen kann.
Die Software ermöglicht es Einzelpersonen, Planungsbüros oder Unternehmen, ihren eigenen KI-Chatbot zu betreiben, ohne auf das Internet angewiesen zu sein und so den Datenschutz zu wahren. Denn es werden keine Daten an fremde Server gesendet. Nice!
Open Source KI-Text-zu-Text-Generator: Mit GPT4All können Sie z. B. E-Mails erstellen lassen oder lokale Dokumente “befragen” (Screenshot: Internet für Architekten)
Lokal auf dem eigenen Rechner statt “in der Cloud”
Das Open-Source-KI-Tool wird von der Firma “Nomic AI” angeboten. Gepflegt und weiterentwickelt wird es von ca. 80 Personen, wie auf der Github-Seite des Projekts zu sehen ist.
Im Gegensatz zu ChatGPT und vielen anderen Diensten ist GPT4All kein Cloud-basierter Dienst, sondern läuft vollständig lokal. Für die Installation ist eine Internetverbindung erforderlich, ebenso für die Integration des gewünschten Sprachmodells. Sobald jedoch ein Modell lokal verfügbar ist, benötigt GPT4All weder eine Internetverbindung noch einen Account bei irgendeiner Online-Plattform.
Diese Lösung ist für Unternehmen interessant, für die Datenschutz wichtig ist. Mit der lokalen Lösung können sie sicherstellen, dass Anfragen an die KI auf dem eigenen Rechner bzw. im lokalen Rechenzentrum bleiben.
Eigene Dokumente “abfragen” oder von der KI zusammenfassen lassen
Besonders spannend wird die Arbeit mit einem rein lokalen KI-Textmodell durch den Zugriff auf eigene Dateien. Mit GPT4All kann man einen oder mehrere Ordner mit Text- oder PDF-Dateien von der eigenen Festplatte (oder einem anderen lokalen Laufwerk) angeben.
Vor einem Chat können Sie dann über den Dialog “Lokale Dokumente” auf die in diesen Ordnern abgelegten Dateien zugreifen und der KI “Fragen stellen”, sie um Zusammenfassungen bitten oder bestimmte Sachverhalte erklären lassen.
Datenschutzfreundliche ChatGPT-Alternative, einfach installiert
Bei dieser Alternative zu ChatGPT & Co. werden Anfragen an das verwendete Sprachmodell lokal verarbeitet. Es werden also keine* Daten “in die Wolke” hochgeladen (* siehe Hinweis unten!).
Der Dienst lässt sich problemlos (d. h. ohne spezielle Fachkenntnisse) auf Computern mit den Betriebssystemen Windows, macOS und Linux installieren und für verschiedene Anwendungen nutzen.
Ausgangspunkt für die Installation ist die Website gpt4all.io.
Die Installation von GPT4All ist sehr einfach. Der Rechner sollte allerdings ausreichend Platz auf der Festplatte sowie einen leistungsfähigen Arbeitsspeicher haben (Screenshot: Internet für Architekten)
Wichtig: Bei der Installation von GPT4All werden Nutzer:innen gefragt, ob sie die eingegebenen (und vermutlich auch die von der KI erzeugten) Daten an den “GPT4All Open Source Datalake” spenden möchten. Aus Sicht der Initiatoren dieses Open-Source-Projekts ist dies natürlich nachvollziehbar, denn durch die Ansammlung von Trainingsdaten kann die KI verbessert werden.
Wer jedoch Wert auf den Schutz seiner Daten legt, sollte dieses Feature nicht aktivieren.
Tipp: Unter dem Icon “Beitragen” (sieht aus wie ein WLAN-Symbol) kann man diese Einstellung bei Bedarf nachträglich ändern. Siehe Screenshot unten.
Bei der Installation bzw. unter dem “WLAN-Icon” fragt das Tool, ob man die eigenen Daten der Weiterentwicklung des KI-Software zur Verfügung stellen möchte (Screenshot: Internet für Architekten)
Wie funktioniert GPT4All? Und was ist eigentlich ein Sprachmodell? 🧐
Vereinfacht gesagt besteht GPT4All aus zwei Komponenten: Der Software selbst (also GPT4All, Installation siehe oben) und einem oder mehreren KI-Sprachmodellen (auch Large Language Model oder LLM genannt), die man innerhalb von GPT4All verwenden möchte.
Gut ein Dutzend LLMs stehen zur Auswahl. Diese Sprachmodelle können direkt aus der Software heraus installiert werden – genügend Platz auf der Festplatte vorausgesetzt!
Einige LLMs sind nicht nur Open Source, sondern auch “Licensed for commercial use”, also – frei übersetzt – für die geschäftliche Nutzung freigegeben. Für meine Tests habe ich ein solches Sprachmodell installiert. Genauer: Die deutsche Version des französischen LLM “Mistral”, genannt “EM German Mistral”. Funktioniert sehr gut!
Tipp: Um mit eigenen Dokumenten arbeiten zu können, musste ich neben dem eigentlichen Sprachmodell noch das “LocalDocs text embeddings model” namens SBert installieren. Es ist bei Weitem nicht so groß wie ein LLM, ermöglicht aber erst die Verarbeitung der lokal gespeicherten Dateien durch GPT4All.
Das kostenlose KI-Tool GPT4All arbeitet mit Open Source-Sprachmodellen / LLM wie “Mistral” (Screenshot: Internet für Architekten)
Individuelle Anpassungen des KI-Bots sind möglich
Für den Betrieb ist keine Internetverbindung und auch keine spezielle Hardware erforderlich. Natürlich ist es sinnvoll, das kostenlose Tool auf einem möglichst schnellen Rechner zu nutzen, da GPT4All sonst sehr langsam antworten kann.
Der Code von GPT4All steht auch auf der Plattform GitHub zur Verfügung und kann von Entwickler:innen selbst erweitert und angepasst werden.
Für alle anderen: Hier der Link zu weiteren Informationen und zur Installation von GPT4All. Viel Spaß!
Noch ein Hinweis zur Leistungsfähigkeit von GPT4All:
Zwar erledigt das Tool einfache Aufgaben sehr ordentlich. Wie zum Beispiel im Prompt oben im Screenshot dargestellt: Schreibe einen Brief mit diesem und jenem Inhalt. Oder: Fasse den folgenden Text zusammen etc.
Komplexere Anfragen, die ChatGPT inzwischen mühelos meistert, können das Open Source-Tool dagegen auch gerne mal überfordern und es kommt Blödsinn heraus. Doch wie bei vielen anderen KI-Tools, die gerade an jeder Ecke aufploppen, gilt: Wir stehen hier ganz am Anfang einer Entwicklung. Da wird noch viel passieren 😃
Aktuelle Webinare, Online-Seminare und Livestreams
« Zurück zum Webinar-Kalender
Wichtige Hinweise: Die Vollständigkeit und Richtigkeit der hier aufgeführten Daten können wir leider nicht garantieren. Bitte überprüfen Sie alle Angaben immer auf den Seiten der jeweiligen Anbieter. Und: „Internet für Architekten“ ist NICHT der Veranstalter der hier genannten Webinare. Wir weisen hier lediglich auf diese Veranstaltungen hin.
Spannendes Thema. Gut finde ich, das es lokal läuft.
Mich würde interessieren, wie ich GPT4ALL in meinem Studium nutzen kann. Die Skripte können ja anscheinend eingelesen werden, oder meine Texte und Zusammenfassungen.
Nur wie schaffe ich es, das GPT4ALL mir Fragen dazu stellt?
Bard, Perplexity, ChatGPT könnten mir dazu nicht weiter helfen.
Auch gibt es auf YouTube keine Videos dazu.
Vielleicht kann hier jemand was beschreiben.
Lieben Dank, Ursula
Hallo Ursula! Bei den Chatbots ist es eigentlich immer so, dass DU die Fragen zu den hochgeladenen Dokumenten stellst und der Bot antwortet dann. Das ist auch bei GPT4All der Fall.
Die Dokumente kannst Du bei GPT4All in verschiedenen Ordnern organisieren (über das Menü oben rechts). Bei einem Chat, in dem Du sie benutzen möchtest, musst Du sie jeweils vorher aktivieren. Ich habe das öfter mal vergessen, weil es ungewohnt ist. Es hat aber den Vorteil, dass man ganz gezielt auf einen bestimmten Dokumentenordner zugreifen kann, je nach Chat-Thema.