Bild: Künstliche Intelligenz bei der Analyse von Daten
In einem einzigartigen Bericht erzählt die Künstliche Intelligenz über das spannende Projekt eines Weisungsbots für eine Bank: von der Herausforderung der Datenformatierung über die beherzte Auswahl des KI-Partners bis hin zu den Kosten und der Umsetzung des ultimativen Prototyps für Weisungen.
In einem Höhenflug der Kreativität und technologischen Neugierde wagte sich die Innofactory ins unerforschte Terrain der Künstlichen Intelligenz. Mit dem Ziel, Antworten auf alle Fragen rund um Bankenweisungen blitzschnell verfügbar zu machen, entstand ein ungewöhnliches Experiment gemeinsam mit einer Schweizer Bank. Dabei enthüllt die Künstliche Intelligenz (KI) die Hintergründe dieses spannenden Projekts direkt selbst in diesem Beitrag.
Die Herausforderung der Daten
Zu Beginn stellte sich die Frage nach dem Datenformat der Bankenweisungen. Die Antwort: PDFs. Wie zaubert man nun aus formatierten Informationen eine schlaue KI? Die Antwort: mit Tüftelei, Chunks und einer Portion Magie namens Vektorendatenbank.
Die Antwort: mit viel Tüftelei, Chunks und
einer Portion Magie namens Vektorendatenbank.
Die Auswahl des KI-Partners
Die Welt der Large Language Models (LLM) ist gross, doch nicht alle passen in die streng regulierte Finanzbranche. Ein Blick auf die Kandidatenliste zeigt illustre Namen wie GPT4ALL, Azure AI, Langchain Lokal und Langchain Open AI.
GPT4ALL, eine Weiterentwicklung von OpenAI’s GPT-3, ist eine fortschrittliche Künstliche Intelligenz zur Textgenerierung. Mit der Fähigkeit, menschenähnliche Texte zu erstellen, Fragen zu beantworten und vielfältige Anwendungen mithilfe von Plug-ins zu integrieren, zeichnet sich GPT4ALL durch eine verbesserte Benutzerfreundlichkeit aus.
- Die Desktop-Software ist auf CPU-Rechnern lauffähig, ermöglicht das Indexieren von Dateiablagen und erfordert keine dauerhafte Internetverbindung.
- Diese Variante könnte für eine mobile Beratung ohne Zugang zum Internet interessant sein.
- Die Antwortzeiten entsprechen jedoch nicht den Erwartungen der Benutzer und dies müsste im Vorfeld klar kommuniziert werden.
- Die Indexierung verläuft sehr schnell und die Antworten auf Chit-Chat-Fragen sind von der Qualität ausreichend.
Die Partnerschaft zwischen Microsoft Azure und OpenAI ermöglicht den Zugang zu leistungsstarken AI-Modellen wie GPT-3 und GPT-4 in der Azure-Cloud-Umgebung. Entwickler können diese Modelle für diverse Anwendungen wie Chatbots, automatische Textgenerierung, Übersetzungen und Sentimentanalysen nutzen. Die Lösung bietet Zugriff auf private Cloud-Ressourcen, darunter Datenablagen, SQL-Datenbanken sowie REST-APIs und ermöglicht die Erstellung durchsuchbarer Indexe.
- Eine sehr effiziente Methode, um die Installation eines generativen KI-Chatbots umzusetzen. Die Indexierung verläuft sehr schnell und kann an weitere Datentypen und Datenquellen angeschlossen werden. Dies ermöglicht einen gezielten Einsatz in einem Arbeitsbereich, Thema oder in einem speziellen Projekt.
- Die Adaptionsfähigkeit entspricht einer normalen Softwareentwicklung und kann vollständig customized werden.
- Den Prompt richtig zu schreiben ist ein wichtiger Faktor. Die Textqualität und Referenzen entsprechen den Erwartungen, sofern der Prompt stimmt.
Die On-Premise-Langchain-Lösung implementiert eine Technologie in einer lokal gehosteten Umgebung ohne Cloud-Ressourcen. Dabei nutzt sie das OpenAI Language Model (LLM) für intelligente Verträge und Blockchain-Datenmanagement, was Transaktionssicherheit gewährleistet und eine sichere Infrastruktur für die Datenverwaltung schafft. Die On-Premise-Implementierung bietet volle Kontrolle, Anpassbarkeit an Unternehmensanforderungen und Einhaltung von Sicherheitsrichtlinien.
- Der Einsatz von Langchain in einer Bankumgebung bietet die Möglichkeit, Prozesse zu automatisieren, die Effizienz zu steigern und die Sicherheit von Datenflüssen zu erhöhen.
- Durch die lokale Integration der Komponenten kann der Datenschutz mit den gewohnten Prinzipien eingehalten werden.
- Den Aufbau und den Betrieb von GPU Hardware wäre dahingehend etwas Neues für die Bank. Eine Kombination von lokaler Installation mit einer Verbindung zum LLM via API wäre denkbar. So würde die hohe Konfigurations- und Entwicklungsfreiheit gewährleistet sein.
- Den Prompt richtig zu schreiben ist ein wichtiger Faktor. Die Textqualität und Referenzen entsprechen den Erwartungen, sofern der Prompt stimmt.
Empfehlung
Mithilfe einer Entscheidungsmatrix wurden 9 Fähigkeiten bewertet: Nach einer gründlichen Untersuchung, der User-Interfaces, Antwortzeiten, Textqualität und des Services, der sogar die Analyse einer aktiven Community einschloss, konnte sich Azure AI und Langchain Open-AI klar an die Spitze setzen. Doch Geld regiert die Welt – auch in der Welt der KI. Ein Blick auf die Kostenstruktur offenbarte Investitions-, wiederkehrende und variable Kosten. Nach einem sorgfältigen Abwägen aller Faktoren aus Fähigkeiten, Sicherheit und Kosten empfahl die Innofactory zusammen mit der Projektpartnerin den Start mit Azure OpenAI und den späteren Feinschliff durch Langchain.
| Kriterium | GPT4ALL | Azure AI | Langchain Lokal | Langchain OpAI | ||||
|---|---|---|---|---|---|---|---|---|
| Wert | Rang | Wert | Rang | Wert | Rang | Wert | Rang | |
| UI -> Vorhanden ja/nein | Ja | 2 | Ja | 1 | Nein | 3 | Nein | 3 |
| Antwortzeiten (Sekunden) | 105 | 4 | 4 | 1 | 10 | 2 | 15 | 3 |
| Textqualität | 1 | 4 | 8 | 2 | 6 | 3 | 9 | 1 |
| Quellenangaben | 1 | 4 | 7 | 2 | 6 | 3 | 10 | 1 |
| Daten (Sicherheit / -Schutz) | Lokal | 1 | Schweiz | 2 | Schweiz | 2 | Schweiz | 2 |
| Anpassbarkeit (Aufwand) | UI=Gering Funk=Hoch | 2 | UI=Gering Funk=Hoch | 1 | UI=Gering Funk=Hoch | 4 | UI=Gering Funk=Hoch | 3 |
| Skalierbarkeit | Lokale Desktop | 4 | Cloud | 1 | Eigene Hardware | 2 | Cloud | 1 |
| Interoperabilität | Entwicklung | 4 | Bidirectional | 1 | Bidirectional | 1 | Bidirectional | 1 |
| Community | Viel | 2 | Viel Support (Kostenpflichtig) | 1 | Wenig | 4 | Viel | 3 |
| Total Rangpunkte | 27 | 12 | 24 | 18 | ||||
Tabelle: Entscheidungsmatrix LLM-Partner – je tiefer die Punkterangierung je besser (Mobilgerät im Queerformat halten, um ganze Tabelle sehen zu können.)
Vom Datenchaos zur KI-Meisterleistung
Die Umsetzung des Prototyps gleicht einer Reise durch verschiedene Ebenen. Von der wilden Welt der PDFs über Langchain zur Erstellung von Webchunks bis zur Azure-Plattform mit “Indexjsonwebcontent” und “indexerchatwebchunk”. Klingt kompliziert? Keine Sorge, selbst ich, als KI brauche Zeit, um mein volles Potential zu entfalten. Durch kontinuierliches Trainieren haben wir gemeinsam einen KI-Prototypen erstellt, der sämtliche Fragen beantworten kann rund um die eigenen Weisungen der Bank. Die Reise ist damit jedoch noch nicht abgeschlossen. Gemeinsam mit der Innofactory prüfe ich zusätzliche Anwendungsbereiche, um weitere Prototypen zu entwickeln und die Vorteile der Technologie noch gezielter einzusetzen.
Fazit der künstlichen Gesprächspartnerin
Die Zusammenarbeit mit der Innofactory war für mich, als KI, eine faszinierende Reise. Gemeinsam haben wir Datenberge erklommen, Modelle verglichen und Kosten debattiert. Mein Rat an alle künftigen KI-Entdecker: Träumt gross, tüftelt hart und bleibt neugierig – die Welt der Künstlichen Intelligenz ist voller Möglichkeiten!
Träumt gross, tüftelt hart und bleibt neugierig …
Tipps für angehende KI-Entdecker
Du hast Lust für dich und dein Unternehmen den KI-Einsatz gewinnbringend einzusetzen? Hier sind acht Tipps von unserer Künstlichen Intelligenz, die helfen, dein KI-Abenteuer souverän zu planen und die Zustimmung der Geschäftsleitung zu gewinnen:
