Einen KI-Assistenten für Unternehmen entwickeln

Ein KI-Assistent für Unternehmen ist mehr als ein Chatbot, der im Namen der Firma antwortet. Richtig gestaltet kann er zu einer Anwendungsebene werden, die internes Wissen nutzt, Benutzerrollen berücksichtigt, bei Bedarf Systemdaten abruft und bestimmte Arbeitsabläufe unterstützt.

Definieren Sie zuerst, welche Nutzer welche Aufgaben schneller oder genauer erledigen sollen, statt mit der Modellauswahl zu beginnen.

Anwendungsfall eingrenzen

In der ersten Version erleichtert die Auswahl spezifischer Teams und Aufgaben anstelle von allgemeinen Assistenten, die das gesamte Unternehmen abdecken, die Auswertung. Zum Beispiel sind Produkt-Dokumentsuche, Kundendienst-Antwort-Support oder interne Prozedurabfrage separate Anwendungsszenarien.

Definieren Sie den Erfolg je Anwendungsfall anhand von Kennzahlen wie Bearbeitungszeit, korrekter Quellennutzung und menschlichen Eingriffen.

Informationsquellen erfassen

Legen Sie fest, auf welche Dateien, Wikis, CRM-Daten, Ticketsysteme, Datenbanken und weiteren Unternehmensquellen der Assistent zugreifen darf.

Quellen unterscheiden sich hinsichtlich Aktualität, Zugriffsrechten und Datenklassifizierung.

Ist RAG erforderlich?

Retrieval-Augmented Generation kann eingesetzt werden, wenn das Modell aktuelles Unternehmenswissen benötigt. Nicht jede Aufgabe erfordert eine Vektordatenbank oder RAG.

Autorisierung

Nutzer dürfen über KI keine Dokumente sehen, auf die sie im Unternehmen sonst keinen Zugriff haben. Berechtigungen müssen sowohl beim Retrieval als auch in der Werkzeugebene durchgesetzt werden.

Werkzeug- und Aktionsebene

Über Antworten hinaus kann der Assistent kontrollierte Werkzeugaufrufe durchführen, um CRM-Daten abzufragen, Supporttickets anzulegen oder Berichte vorzubereiten.

Legen Sie für Werkzeuge, die Daten schreiben oder Aktionen in externen Systemen ausführen, menschliche Freigaben und Handlungsgrenzen gesondert fest.

Gesprächsgedächtnis

Bestimmen Sie anhand von Datenschutz- und Produktanforderungen, wie lange Gesprächsverläufe gespeichert und welche Informationen zwischen Sitzungen übernommen werden.

Bewertung

Aufgabenerfolgsquote
Korrekte Quellennutzung
Unbelegte Aussage
Falscher Werkzeugaufruf
Latenz
Benutzerkorrektur
Weiterleitung an einen Menschen

Pilot und Einführung

Testen Sie einen begrenzten Piloten mit realen Nutzern. Ordnen Sie Fehler Kategorien zu und nutzen Sie die Erkenntnisse für Prompts, Retrieval, Berechtigungen oder Datenqualität.

KI-Systeme für den produktiven Einsatz bewerten

Bereiten Sie vor dem Produktivbetrieb getrennte Evaluierungsdatensätze für folgende Bereiche vor: Eingrenzung des Anwendungsfalls, Erfassung der Informationsquellen und RAG-Bedarf. Entscheiden Sie nicht nur anhand weniger erfolgreicher Demofragen, sondern bilden Sie reale Nutzeraufgaben als erfolgreiche, fehlerhafte und Grenzfälle ab. Definieren Sie erwartetes Verhalten, akzeptable Fehlergrenzen und nötige menschliche Eingriffe je Beispiel. So lassen sich Modell-, Retrieval- und Workflow-Änderungen mit demselben Testsatz vergleichen.

Produktionsmonitoring muss klassische Anwendungs- und KI-Qualitätskennzahlen verbinden. Technisch sind Latenz, Token- oder Modellkosten, Werkzeugfehler und API-Zeitüberschreitungen relevant; für Produktqualität falsche Quellen, unbelegte Aussagen, Benutzerkorrekturen, menschliche Eingriffe und Aufgabenerfolg. Bei Modell- oder Promptwechsel muss eine Regressionsevaluation den Erhalt des bisherigen Qualitätsniveaus prüfen.

Datensicherheit und Governance

Behandeln Sie Modelldaten, Retrievalquellen, Gesprächsprotokolle und Werkzeugausgaben als getrennte Datenflüsse. Personenbezogene oder geschäftlich sensible Daten gehören nicht unnötig in Prompts; der Zugriff muss nach Benutzerrolle begrenzt sein. Bewerten Sie Modell und Anbieter, Verarbeitungsorte und Aufbewahrung der Protokolle gemeinsam mit Datenschutz- und Sicherheitsprozessen. Die KI-Schicht darf keinen parallelen Datenzugang schaffen, der bestehende Berechtigungen umgeht.

Checkliste für produktive KI

Sind Anwendungsfall und Erfolgskennzahl definiert?
Ist ein Evaluierungsdatensatz vorhanden?
Werden Prompt-, Modell- und Retrievalversionen verfolgt?
Werden Benutzerrechte in der KI-Schicht durchgesetzt?
Nutzen Werkzeugaufrufe eine Schemavalidierung?
Ist menschliche Freigabe für riskante Aktionen vorgesehen?
Werden Latenz und Modellkosten gemessen?
Werden falsche Antworten und Nutzerkorrekturen klassifiziert?

Fehlertaxonomie und kontrollierte Einführung

Alle Fehler als „KI hat falsch geantwortet“ zu erfassen, erschwert die Ursachenanalyse. Unterscheiden Sie Retrievalprobleme, fehlenden Kontext, falsche Werkzeugwahl, Berechtigungssperren, Halluzinationen, Zeitüberschreitungen, Schemavalidierungsfehler und unklare Anfragen. Ermitteln Sie die Ursache insbesondere in folgenden Bereichen: Eingrenzung des Anwendungsfalls, Erfassung der Informationsquellen und RAG-Bedarf. So kann das Team die richtige Komponente verbessern, statt nur das Modell auszutauschen. Reale Produktionsfehler erweitern zugleich den Evaluierungsdatensatz.

Neue Modelle, Prompts, Retrievaleinstellungen oder Agentenabläufe müssen nicht alle Nutzer gleichzeitig erreichen. Beginnen Sie mit einer begrenzten Gruppe oder risikoarmen Aufgaben und vergleichen Sie Qualität, Latenz, Kosten und Weiterleitungen an Menschen mit der Vorversion. Stoppen Sie die Einführung bei schlechteren kritischen Kennzahlen und ermöglichen Sie eine Rückkehr zur Vorversion. So entsteht statt unkontrollierter Promptänderungen ein versionierter, messbarer Freigabeprozess.

Kosten- und Nutzungsgrenzen

Produktive KI braucht Ressourcensteuerung ebenso wie Qualitätssteuerung. Erfassen Sie Token, Modellaufrufe, Werkzeugnutzung, Retrievalmenge und Dauer je Benutzer oder Aufgabe. Unerwartete Schleifen, unnötig langer Kontext und wiederholte Werkzeugaufrufe erhöhen Kosten und Latenz. Maximale Schrittzahl, Zeitlimits, Kontextgrenzen, Modell-Fallback und Benutzerlimits schaffen operative Kontrolle. Bewerten Sie Kosten zusammen mit Aufgabenerfolg und optimieren Sie billige, aber erfolglose oder teure, unnötig komplexe Abläufe.

Fehlertypen getrennt protokollieren
Prompt-, Modell- und Ablaufversionen erfassen
Neue Versionen mit begrenzter Benutzergruppe testen
Rollback-Kriterien vorab definieren
Werkzeugschritte und Bearbeitungsdauer begrenzen
Token- und Modellkosten je Aufgabe messen
Produktionsfehler in Evaluationsdaten zurückführen

Der KI- und Automatisierungsansatz von B10 Digital Agency

B10 Digital Agency versteht Unternehmens-KI nicht nur als Modellintegration, sondern als Produktionssystem mit Datenzugriff, RAG, Werkzeugen, Agentenabläufen, Sicherheit, menschlicher Kontrolle und messbarer Evaluation.

Häufig gestellte Fragen

Müssen wir unser eigenes Modell für einen Corporate AI Assistenten ausbilden?

Es ist in den meisten Nutzungsszenarien nicht zwingend vorgeschrieben. Aktuelle Modelle können mit Schichten von RAG, Prompt und Werkzeug verwendet werden.

Wie greift ein KI-Assistent auf Unternehmensdaten zu?

Zugelassene Datenquellen können über die API, Retrieval oder kontrollierte Integrationsebene verbunden werden.

Sollte der Assistent Aktionen direkt ausführen?

Bei riskanten oder schwer rückgängig zu machenden Aktionen kann menschliche Freigabe sicherer sein.

Wie wird Erfolg gemessen?

Bewerten Sie Aufgabenerfolg, Nutzerkorrekturen, Quellengenauigkeit, Bearbeitungszeit und Eskalationskennzahlen gemeinsam.

Unternehmens-KI messbar machen

Entdecken Sie den KI- und Automatisierungsansatz von B10 Digital Agency zur sicheren und messbaren Integration von Assistenten, RAG, Agenten und automatisierten Abläufen in bestehende Systeme.

KI- und Automatisierungslösungen kennenlernen →