In der Kolumne „Zweieinhalb Fragen zu…“ gibt der „Consulting-Professor“ Thomas Deelmann Einblicke zu aktuellen Themen oder generellen Trends im Beratungsmarkt. Zugespitzt und auf den Punkt.
Immer wieder wird versprochen, dass Marktanalysen und Benchmarks künftig weitgehend automatisiert durch KI erstellt werden könnten. Dann gibt es aber Meldungen, dass bereits KI-unterstützte Berichte voller Fehler sind. Wie bewerten Sie diese Entwicklung?
Zwei Punkte fallen mir dazu ein. Für das gerade beschriebene Phänomen hat sich im angelsächsischen Raum inzwischen ein Begriff etabliert: „Vibe Citing“. Damit ist die ungeprüfte Übernahme falscher Angaben gemeint, die durch KI-Halluzinationen entstanden sind. Die kritische Prüfung von Zitaten, Belegen und Quellenmaterial wird vernachlässigt. Die Autoren verlassen sich dabei zu stark auf sprachliche Überzeugungskraft und übernehmen gutklingende KI-Inhalte ohne deren Richtigkeit tatsächlich zu kontrollieren.
Das Erstaunliche daran ist weniger, dass solche Fälle vorkommen – sondern dass sie trotz aller Warnungen weiterhin auftreten. Früh bekannt geworden und inzwischen häufig zitiert ist der Fall zweier Anwälte. Die haben in einem Gerichtsverfahren Anfang 2023 von einem KI-System generierte historische Gerichtsentscheidungen zur Stützung ihrer Argumentation herangezogen – nur um dann von der Gegenseite vorgeführt zu werden. Es hat sich nämlich herausgestellt, dass die Entscheidungen nicht existierten.
Aber auch Consultants unterlaufen immer noch solche Fehler. In einer externen Analyse eines aktuellen Big-Four-Berichts über Cyber-Gefahren und Betrug in Loyalitätsprogrammen wurden 16 von 27 Quellen als fehlerhaft, nicht nachvollziehbar oder offenbar KI-generiert eingestuft.
Und was ist Ihr zweiter Punkt?
Ein zweiter Aspekt geht über klassische KI-Halluzinationen hinaus. Hier geht es nicht um fahrlässig übernommene Inhalte, sondern um Berichte selber, die anscheinend weitgehend KI-generiert sind. Offenbar entstehen gerade hochgradig automatisierte „Report-Fabriken“. Dort werden Marktforschungsstudien in einer Quantität publiziert, die klassische Dienstleister kaum erreichen können. Berichtet wird beispielsweise von einem sehr kleinen Anbieter, der mehr als 5.000 Reports innerhalb eines Jahres veröffentlicht hat. Allerdings erreicht die Qualität der Berichte dann auch nicht das Niveau etablierter Marktforschungsunternehmen.
Problematisch dabei ist aber: Die fragwürdigen Inhalte solcher massenhaft generierten Papiere werden online verfügbar, können potenziell in Trainingsdaten neuer KI-Systeme einfließen und später von Chatbots als vermeintliche Fakten innerhalb von Antworten auf einschlägige Fragen wieder ausgegeben werden. Sie finden so erneut Eingang in Präsentationen und Berichte – vielleicht sogar von renommierten Autoren oder Organisationen – die dann häufig wieder ins Internet gestellt werden. Es entsteht ein selbstverstärkender Kreislauf fragwürdiger Inhalte. Die Verbreitung steigt – die Qualität nicht.
Sie haben also noch Hoffnung für analysierende Beraterinnen und Berater aus Fleisch und Blut?
Solange die KI ihre eigenen Halluzinationen „zitiert“, dürfte der Consultant noch nicht ausgedient haben.
Thomas Deelmann ist Professor für Management und Organisation an der Hochschule für Polizei und öffentliche Verwaltung (HSPV) Nordrhein-Westfalen. Nach einer Verwaltungsausbildung und Wirtschaftsstudium arbeitet und forscht er seit über 20 Jahren als, für, mit und über Berater – in einem internationalen Beratungskonzern, als Beratungseinkäufer in einem DAX-Unternehmen, Projektleiter, Auftraggeber von Beratungen, Betroffener von Consulting-Projekten, Inhouse- und freier Consultant sowie in der Lehre und Forschung zur Unternehmens- und Verwaltungsberatung.