Teil 2: Installation einer lokalen KI. Vorgehen, Möglichkeiten und Grenzen
Es ist wegen der strengen Anforderungen an den Datenschutz und die Datensicherheit für eine Patentanwaltskanzlei kaum möglich, eine cloudbasierte KI einzusetzen. Stattdessen kann eine lokale KI installiert werden und dadurch ein geschützter Raum zur Anwendung einer KI geschaffen werden.
Alle Artikel zur Artikelserie „KI als Werkzeug des Patentanwalts“:
Teil 1: Datenschutz und Datensicherheit
Teil 2: Installation einer lokalen KI
Teil 3: Prompt Engineering
Teil 4: Vom Chatbot zum KI-Agenten
Teil 5: Die Kanzlei wächst
1. Lokale KI versus cloudbasierte KI
Eine lokale KI weist den Nachteil auf, dass der Patentanwalt selbst für die geeignete IT-Infrastruktur und den Support sorgen muss. Vorzugsweise wird er einen dedizierten On-Premise-Server anschaffen. Ein On-Premise-Server ist ein Server, der in der Kanzlei, den Büroräumen oder einem eigenen Rechenraum untergebracht ist.
Das Installieren einer lokalen KI stellt keine hohen Anforderungen dar. Insbesondere Ollama ist hierbei bereits seit einigen Jahren ein gewisser Standard.[1] Durch das Installieren erhält man einen Offline-Chatbot auf dem Kanzlei-Server. Zur Sicherheit sollte noch der Cloud-Zugang abgeschaltet werden. Das kann insbesondere durch die Wahl des Flugmodus erreicht werden.
Der Nachteil einer lokalen KI ist die hohe Anforderung an Rechenleistung. Es kann empfehlenswert sein, für die lokale KI einen NVIDIA DGX Spark oder vergleichbares einzusetzen. Trotzdem wird die lokale KI nie an die Leistungsfähigkeit cloudbasierter KIs heranreichen.
Ein LLM (Large Language Model) stellt das „Gehirn“ einer KI dar. Die Leistungsfähigkeit des LLMs kann anhand der Anzahl der Parameter bestimmt werden. Ein lokal genutztes LLM hat zwischen 30 und 120 Milliarden Parameter. Cloudbasierte LLMs können bis zu einer Billion Parameter aufweisen.[2]
Die Parameter eines LLMs entsprechen stark vereinfacht den Synapsen eines Menschen. Ein Mensch hat zwischen 100 und 500 Billionen Synapsen, sodass die aktuellen LLMs noch lange nicht an die Leistungsfähigkeit eines Menschen heranreichen.
2. Der wesentliche Schritt: RAG
Mit einem RAG-System können die Daten einer Patentanwaltskanzlei für einen eigenen Chatbot zugänglich gemacht werden. RAG steht für Retrieval, das Abrufen von Daten aus einer eigenen Datenbank, Augmentation, das Zusammenfassen gefundener Daten aus der Datenbank, und Generation, das Erzeugen einer korrekt formulierten Antwort anhand der gefundenen Daten. Einem RAG-System werden die eigenen Akten zur Verfügung gestellt, um diese derart zu verarbeiten, dass gezielte Recherchen möglich sind. Voraussetzung dafür ist eine Vektordatenbank, die nicht wie eine relationale Datenbank die Daten in Tabellen sortiert, sondern anhand semantischer Ähnlichkeiten in einem n-dimensionalen Raum anordnet.
Mit einem RAG-System können beispielsweise folgende Fragen an den Kanzlei-Chatbot gestellt werden: „Nenne mir die letzten Einsprüche, die wir beim DPMA eingelegt haben“, „Welche Anmeldungen haben wir zu Lenksystemen von Autos in den letzten 12 Monaten ausgearbeitet?“ oder „Nenne mir die Anträge auf Wiedereinsetzung, die wir auf Grundlage der Krankheit einer PAFA beim EPA eingereicht haben.“
3. Vektordatenbank
Eine Vektordatenbank wird durch Chunking und Embedding erstellt. Die Daten der Kanzlei werden in einzelne Chunks, also Textbausteine, aufgeteilt, woraus sich eine Anzahl an Textbestandteilen aus jedem einzelnen Dokument ergibt. Diese Chunks sind typischerweise überlappend, sodass angrenzende Textbestandteile auf den beiden zugehörigen Chunks enthalten sind. Auf diese Weise gibt man dem LLM die Möglichkeit zu erkennen, ob es Sinn macht, benachbarte Chunks abzurufen. Im nächsten Schritt folgt das Embedding, bei dem aus den Chunks Vektoren bestimmt werden, sodass beispielsweise aus einem Chunk, das die Beschreibung eines Dokuments des Stands der Technik in einer Patentanmeldung enthält, ein Vektor in der Form [0.21, -0.53, 0.91, -0.77, …] entsteht. Diese Vektoren ergeben einen n-dimensionalen Raum. Eine LLM wird dabei benachbarte Vektoren in dem n-dimensionalen Raum als semantisch ähnlich auffassen. Auf diese Weise entsteht das „Verständnis“ der KI. Eine Vektordatenbank kann beispielsweise in Supabase eingerichtet werden.[3]
4. OpenWebUI
OpenWebUI ist eine Benutzeroberfläche (User-Interface UI), die sehr gut mit Ollama verbunden werden kann. Hierdurch erhält man die von ChatGPT gewohnte Eingabeoberfläche.
5. Fazit
Eine lokale KI kann insbesondere als Kanzlei-Chatbot genutzt werden, um in den eigenen Akten zu recherchieren, gewünschte Listen auszuarbeiten oder Statistiken zu erstellen. Hierzu werden die bereits vorhandenen Daten einer Kanzleisoftware in eine Vektordatenbank eingelesen, um semantische Recherchen durchführen zu können.
[1] ollama.com/download.
[2] Stand: Oktober 2026.
[3] https://supabase.com/.