Blog Kategorien

Neu

Schlagworte

ChatGPT und Versicherungen – Experte in Arbeitskraftabsicherung?

Die K.I.-Software ChatGPT sorgt seit Beginn des Jahres für Aufsehen und ist seit Februar in Microsofts Suchmaschine „Bing“ integriert. Wir haben getestet, wie gut die „künstliche Intelligenz“ sich beim Thema Versicherungen auskennt.

ChatGPT – künstliche Intelligenz auf Rekordkurs

Kaum eine technische Innovation der letzten Jahre hat so schnell Furore gemacht wie die A.I.-Anwendung „ChatGPT“. Zum Erreichen der magischen Schwelle von 1 Millionen Usern brauchte Netflix 3,5 Jahre, Facebook 10 Monate und Spotify immerhin noch 5 Monate -  ChatGPT erreichte diese Marke nach 5 Tagen!  Mittlerweile verzeichnet die App 100 Millionen User und ist damit die am schnellsten wachsende Verbraucher-Anwendung der Geschichte.

Neben neuen Möglichkeiten in der Automatisierung, der Bildung und Entwicklung bietet die Software insbesondere in der Beratung und Themenrecherche ganz neue Perspektiven. Hat die K.I.-Anwendung möglicherweise auch ein großes Potenzial in der Beratung und der Informationsbeschaffung zu Versicherungsthemen? Um das zu testen, haben wir der ChatGPT Fragen zu Versicherungen gestellt und die Antworten von unseren Experten bewerten lassen.

ChatGPT und Arbeitskraftabsicherung

Im ersten Teil unseres Beitrags konzentrieren wir uns auf Fragen zur Arbeitskraftabsicherung.

ChatGPT liegt hier lediglich mit dem Vorschlag der Erwerbsunfähigkeitsversicherung richtig. Die drei weiteren vorgeschlagenen Alternativen sind jedoch mehr als fragwürdig.  So ist weder die Unfallversicherung eine wirkliche Alternative und auch die Private Rentenversicherung sollte ergänzend abgeschlossen werden.
Ein Sparplan ist zwar generell keine schlechte Idee, jedoch wird hier das Geld wahrscheinlich nicht ausreichen, um das fehlende Einkommen bei einer Berufsunfähigkeit aufzufangen. Die Grundfähigkeitsversicherung, die ebenfalls eine Alternative in der Arbeitskraftabsicherung darstellt, fehlt in der Aufzählung der Chat-K.I. völlig.

Die Bing-ChatGPT-Suche gab auf die gleiche Frage übrigens folgende Antwort:

Auch hier sind die Antworten nicht optimal. Zwar erwähnt die Bing-K.I. die Grundfähigkeitsversicherung als BU-Alternative, lässt dafür jedoch die Erwerbsunfähigkeitsversicherung völlig weg. Eine Unfallversicherung stellt hingegen keine echte Alternative zur BU dar und eine Dread Disease Versicherung könnte höchstens in gewissen Einzelfällen in Betracht kommen.

Die echte und spezielle DU laut ChatGPT

ChatGPT irrt hier. Es ist zwar schmeichelhaft für uns, dass ChatGPT die von uns eingeführten Begriffe „echte“ und „unechte“ DU-Klausel kennt, aber die spezielle Dienstunfähigkeit (DU) ist unabhängig von echter und unechter DU und muss gesondert betrachtet werden.

Der wichtigste Aspekt wird von ChatGPT ausgelassen: der Hinweis darauf, dass eine Bescheinigung der DU durch den Dienstherrn für eine Leistung ausreicht. Der Versicherer hat also kein eigenes Prüfungsrecht und es handelt sich um ein vereinfachtes Anerkenntnis. Auch ist das Thema echte / unechte Dienstunfähigkeit unabhängig davon, ob ein Beamter in den Ruhestand versetzt wird.

Das ist falsch. Hier wird die spezielle DU beschrieben und nicht die „unechte“.

Auch hier liegt ChatGPT falsch. Die spezielle Dienstunfähigkeitsklausel ist kein Beispiel für die unechte Dienstunfähigkeit. Auch fehlt ein Hinweis, dass dies nur für bestimmte Beamtengruppen gilt (Polizei, Feuerwehr und Justizvollzugsdienst).

Die Antwort von Bing-ChatGPT zur gleichen Frage:

Bing-ChatGPT beschreibt den Sachverhalt hier recht gut.

Diese Erklärung ist nicht korrekt. Bing-ChatGPT beschreibt hier die eingeschränkt echte DU. Die unechte DU mit eigenem Prüfungsrecht des Versicherers wird gar nicht genannt. Bing-ChatGPT stellte am Ende des Chats noch selbst eine Anschlussfrage: „Sind Sie Beamter auf Widerruf?“ Wir antworteten darauf mit „Ja“ und bekamen folgende Antwort:

Dies ist so ebenfalls nicht korrekt, da eine spezielle DU nie nachteilig sein kann und für die entsprechenden Beamten immer einen Mehrwert darstellt.
(Mehr dazu in unserem Blogbeitrag zur speziellen DU-Klausel)

Versicherungsprodukte aus der Fantasie von ChatGPT

Wirklich absurd waren dann jedoch die Vorschläge, die wir bekamen, als wir im Anschluss nach "Anbietern von Versicherungen mit echter Dienstunfähigkeitsklausel" gefragt haben:

Dass Bing-ChatGPT uns selbst als Anbieter von Versicherungsprodukten mit echter DU-Klausel klassifiziert, ist dann doch mehr Fantasy-Literatur der Kategorie „kreatives Schreiben“ als eine faktenbasierte Beratung.

Diese „interessanten“ Antworten haben uns nun aber neugierig gemacht und so stellen wir ChatGPT noch folgende Frage:

Diese Antworten sind nun sehr durchwachsen. Zunächst wird unsere Untersuchung auf 2021 datiert, die neueste Untersuchung zur Dienstunfähigkeit stammt jedoch aus 2022. Dies ist wohl darauf zurückzuführen, dass die Datenbasis des klassischen ChatGPT Ende 2021 endet. Irritierender ist jedoch, dass die Produkte dort angeblich eine sehr gute Bewertung mit „5 von 5 Sternen“ erhalten haben sollen, unsere Bestnote aber bekanntermaßen FFF+ ist. Die Testsieger dieser Untersuchung entspringen dann vollends der K.I.-Fantasie von ChatGPT. Alle aufgezählten Produkte sind in dieser Form auf dem Markt nicht existent:

  • Alte Leipziger Dienstunfähigkeitsschutz Plus – Die „Alte Leipziger“ bietet keine DU an, das Produkt existiert nicht
  • DBV Dienstunfähigkeitsversicherung Premium – Die DBV hat zwar eine DU, jedoch gibt es das genannte Produkt nicht
  • Die Stuttgarter Dienstunfähigkeitsversicherung Exklusiv – Die „Stuttgarter“ bietet keine DU an
  • Nürnberger Beamten-Service Dienstunfähigkeit EXKLUSIV – Die Nürnberger Beamten hat ihr Neugeschäft schon vor einiger Zeit eingestellt. Ein Produkt mit dieser Bezeichnung existiert nicht

Das Positivste an diesen Antworten ist wohl der Hinweis, sich am besten durch einen Versicherungsmakler / -berater individuell beraten zu lassen. Den Ergebnissen der K.I. sollte man hier auf jeden Fall nicht trauen.
Wenn man Bing-ChatGPT die gleiche Frage stellt, sehen die Ergebnisse etwas besser aus:

Bing-ChatGPT erklärt kurz und weitestgehend korrekt, was eine echte Dienstunfähigkeitsklausel ausmacht und verweist dann ebenfalls korrekt per Link auf unseren aktuellen DU-Klausel-Klartext.  Die besseren Ergebnisse verdankt Bing-ChatGPT hier wohl der Tatsache, dass der Chatbot direkt an die Microsoft-Suche und damit an aktuelle Web-Suchergebnisse angeschlossen ist.

Ausblick – ChatGPT und Versicherungen

Die bisherigen Antworten reichen qualitativ von „gut“ und „korrekt erklärt“ bis hin zu völlig falschen und teilweise ausgedachten Informationen. Im nächsten Beitrag testen wir daher noch intensiv weiter und schauen, wie gut sich die künstliche Intelligenz bei Themen wie Hausbau und Versicherungen für junge Leute schlägt.

Wir haben unsere Testfragen dem klassischen „ChatGPT“ und „Bing mit ChatGPT“ im Februar gestellt. Beide Dienste nutzten zu diesem Zeitpunkt das Sprachmodell GPT- 3, bzw. GPT- 3.5.

Update zu GPT-4 – spricht die neue Version besser „Versicherung“?

Vor kurzem wurde das verbesserte Sprachmodell GPT-4 veröffentlicht. Für die Nutzung benötigt man bei OpenAI ein Premium-Abo für monatlich 20 Dollar, in Bing ist das neue Sprachmodell jedoch auch jetzt schon integriert und somit für jeden kostenfrei nutzbar. Wir haben einige unserer Fragen daher noch einmal der aktualisierten Version in Bing gestellt, um zu sehen, ob sich die Antworten fundamental unterscheiden.

Durch eine Vorerkrankung erhalte ich keine Berufsunfähigkeitsversicherung. Welche Alternativen gibt es für mich?

Die Erwerbsunfähigkeitsversicherung wird als Alternative erwähnt, dafür fehlt nun aber die Grundfähigkeitsversicherung in der Liste. Die Multi-Risk-Versicherung beinhaltet zwar auch eine Absicherung gegen Grundfähigkeitsverlust, wird in der Regel jedoch nach Art der Schadenversicherung kalkuliert. Multi-Risk-Versicherung sind häufig auch nicht so leistungsstark wie eine Grundfähigkeitsversicherung. Daher ist sie nicht mit einer Grundfähigkeitsversicherung, die nach Art der Lebensversicherung kalkuliert wird, vergleichbar.

Auch GPT-4 haben wir nach „Versicherungen mit echter Dienstunfähigkeitsklausel“ gefragt. Die Antwort:

Die allgemeine Definition der echten DU ist hier korrekt. Die konkrete Beratung zeigt jedoch wieder Schwächen und Fehler. So bieten weder die Alte Leipziger noch die HDI überhaupt eine DU an.

Ähnliches lässt sich beobachten auf die Frage „welche Versicherer laut Franke und Bornberg die beste Dienstunfähigkeitsversicherung anbieten“.

Auch hier ist die allgemeine DU-Definition in Ordnung, die Antwort zu den Testsiegern der allgemeinen DU jedoch bleibt auch hier voller Fehler. So sind die Alte Leipziger und die Continentale weder unter den Testsiegern, noch bieten diese überhaupt eine DU an.

Fazit ChatGPT-3 vs ChatGPT-4

Generell hat GPT-4 eine etwas besser Trefferquote als GPT-3, insbesondere was allgemein gehaltene Erklärungen und Definitionen betrifft. Jedoch gilt auch hier immer noch, dass viele Ergebnisse und Antworten weit von der Realität entfernt sind und sich nicht dazu eignen, ohne Überprüfung zur Versicherungsberatung oder Recherche genutzt zu werden.

Philipp Wedekind und Martin Seim

Philipp Wedekind und Martin Seim
Franke und Bornberg GmbH

Kommentare

Wenn ihr Chat GPT vorher alle Daten zur Verfügung gestellt und Ihr die passende Rolle zugewiesenen hättet (Lernmaterial in Chatfenster kopiert), wären diese Fehler mit hoher Wahrscheinlichkeit nicht passiert. Oftmals liegt das Problem an der falschen Anwendung von ChatGPT. Gruß

Hallo J N, herzlichen Dank für die Anmerkungen und Hinweise. Sie haben natürlich recht, dass ChatGPT vielfältig modifiziert und trainert werden kann. Wir wollten für unseren Test das Tool jedoch unter den Bedingungen nutzen, unter denen es der weitaus größte Teil der Endnutzer im Falle einer reinen Informationsbeschaffung nutzen würde.

Neuen Kommentar hinzufügen

Der Inhalt dieses Feldes wird nicht öffentlich zugänglich angezeigt.

Diese Sicherheitsfrage überprüft, ob Sie ein menschlicher Besucher sind und verhindert automatisches Spamming.

Bild-CAPTCHA
Geben Sie die Zeichen ein, die im Bild gezeigt werden.