Künstliche Intelligenz: Studie zeigt Mängel bei Nachrichten-Zusammenfassungen

Künstliche Intelligenz (KI) ist heutzutage in vielen Bereichen nützlich, darunter auch bei der Erstellung von Nachrichten-Zusammenfassungen. Beliebte KI-Tools wie ChatGPT oder Copilot können uns helfen, Informationen schnell zu erfassen. Doch eine neue Studie der BBC warnt: Die Ergebnisse dieser Systeme sind nicht immer zuverlässig und sollten mit Vorsicht betrachtet werden.

In der Untersuchung ließ die BBC verschiedene KI-Systeme – inklusive ChatGPT von OpenAI, Copilot von Microsoft, Gemini von Google und Perplexity AI – Nachrichten von ihrer eigenen Website analysieren. Anschließend wurden den KI-Systemen Fragen zu den Inhalten gestellt. Journalisten, die sich mit den Themen auskannten, bewerteten die Antworten der KIs. Das Ergebnis war ernüchternd: Über die Hälfte der Antworten (51 Prozent) wiesen ‘erhebliche Probleme’ auf. In jeder fünften Antwort (19 Prozent), die sich auf die BBC bezog, fanden die Forscher sachliche Fehler, wie falsche Tatsachenbehauptungen, ungenaue Zahlen und falsche Daten.

Beeindruckend waren einige der Fehler, die von den KI-Systemen gemacht wurden: Sowohl ChatGPT als auch Copilot waren der irrtümlichen Meinung, dass der ehemalige Premierminister Rishi Sunak und die frühere schottische Regierungschefin Nicola Sturgeon noch im Amt seien. Zudem stellte Gemini fälschlicherweise fest, dass das britische Gesundheitssystem NHS Dampfen nicht als Hilfe zur Raucherentwöhnung empfehle.

Die Ergebnisse der Studie zeigen große Unterschiede zwischen den verschiedenen KI-Systemen. Copilot und Gemini machten nach den Angaben der BBC mehr Fehler als ChatGPT und Perplexity. Die Studienautoren warnten, dass die Nutzer nicht auf die Genauigkeit der Nachrichtenverbreitung durch KI-Assistenten vertrauen sollten. ‘Das Risiko, dass sie das Publikum täuschen, ist real’, schrieben sie. Es sei zudem unklar, wie umfangreich und schwerwiegend die Fehler und Verzerrungen in den Inhalten seien. Die Studie könne nur an der Oberfläche des Problems kratzen.

Die BBC schließt KIs normalerweise von ihrer Website aus, hatte jedoch für die Dauer dieser Analyse eine Ausnahme gemacht. Deborah Turness, Chefin von BBC News and Current Affairs, appellierte in einem Blogbeitrag an die Anbieter von KI-Technologien, wie Apple ihre KI-generierten Nachrichten-Zusammenfassungen abzuschalten. Ende letzten Jahres hatte sich die BBC bereits über einen Fehler im Apple-Dienst Apple Intelligence beschwert. Nach der Beschwerde deaktivierte Apple die fehlerhaften Zusammenfassungen.

‘Wir leben in unruhigen Zeiten’, betonte Turness. Sie äußerte die besorgte Frage, wie lange es dauern werde, bis eine durch KI verzerrte Schlagzeile echte Schäden in der Welt verursacht. Die Warnung der BBC ist ein wichtiger Hinweis, dass beim Konsum von Nachrichten über KI-Tools Vorsicht geboten ist – und dass es wichtig ist, Informationen aus vertrauenswürdigen Quellen zu beziehen.