Studie zeigt: KI-Tools liefern häufig falsche Nachrichtenzusammenfassungen

Künstliche Intelligenz (KI) hat in den letzten Jahren in vielen Bereichen Einzug gehalten und verspricht, das Leben einfacher zu machen. Tools wie ChatGPT oder Copilot können dabei helfen, Texte zu erstellen oder Inhalte zusammenzufassen. Doch eine neue Untersuchung der BBC zeigt, dass die Ergebnisse dieser KI-Systeme mit Vorsicht betrachtet werden sollten.

Um die Leistungsfähigkeit von KI-Tools zu testen, ließ die BBC mehrere Systeme – darunter ChatGPT von OpenAI, Copilot von Microsoft, Gemini von Google und Perplexity AI – Nachrichten von ihrer eigenen Webseite auswerten. Nach der Analyse wurden den KIs verschiedene Fragen zu den Inhalten gestellt. Anschließend bewerteten Journalisten, die sich mit den Themen auskannten, die Antworten der Systeme.

Die Ergebnisse waren besorgniserregend: Mehr als die Hälfte der befragten Antworten (51 Prozent) wiesen "erhebliche Probleme in irgendeiner Form" auf. Dabei fanden die Autoren der Studie in jeder fünften Antwort (19 Prozent), die sich auf die BBC bezogen, sachliche Fehler. Diese Fehler beinhalteten falsche Tatsachenbehauptungen, irreführende Zahlen und andere entscheidende Fehlinformationen.

Ein Beispiel für die Fehlerhaftigkeit der KIs war, dass sowohl ChatGPT als auch Copilot fälschlicherweise behaupteten, der ehemalige britische Premierminister Rishi Sunak und die frühere Regierungschefin von Schottland, Nicola Sturgeon, seien weiterhin im Amt. Ebenso gab es von Gemini die falsche Aussage, dass das britische Gesundheitssystem NHS das Dampfen nicht als Hilfsmittel zur Raucherentwöhnung empfehle.

Die Studie ergab, dass die verschiedenen KI-Systeme unterschiedlich gut abschnitten. Während ChatGPT und Perplexity relativ bessere Ergebnisse lieferten, hatte Copilot von Microsoft und Gemini von Google mehr Fehler.

Die Autoren der Studie warnen eindringlich: "Bei KI-Assistenten kann man sich derzeit nicht darauf verlassen, dass sie genaue Nachrichten liefern, und es besteht das Risiko, dass sie das Publikum täuschen." Das tatsächliche Ausmaß der Fehler und Verzerrungen in den gelieferten Inhalten sei derzeit unbekannt; die Studie kratze nur an der Oberfläche eines viel größeren Problems.

Die BBC schließt normalerweise KI-Chatbots von ihrer Webseite aus, genehmigte jedoch für die Dauer der Studie eine Ausnahme. Deborah Turness, die Chefin von BBC News and Current Affairs, äußerte in einem Blogbeitrag, dass Anbieter wie Apple ihre KI-generierten Nachrichten-Zusammenfassungen abschalten sollten. Diese Forderung wurde durch eine vorherige Beschwerde der BBC an Apple über eine Falschmeldung von deren Dienst Apple Intelligence gestützt, die mittlerweile dazu geführt hat, dass Apple die automatischen Zusammenfassungen deaktiviert hat.

In ihrer Botschaft warnte Turness: "Wir leben in unruhigen Zeiten, und wie lange wird es dauern, bis eine durch KI verzerrte Überschrift Schaden in der realen Welt anrichtet?" Diese Nachricht bringt die Wichtigkeit von verlässlicher Berichterstattung und kritischer Betrachtung von Informationen durch KI-gestützte Systeme erneut ins Bewusstsein.