Wissenschaftler entwickeln Tests für Künstliche Intelligenz – Bald könnte KI Menschen prüfen

In der Welt der Künstlichen Intelligenz (KI) gibt es aufregende Entwicklungen, die die Art und Weise, wie wir diese Technologie bewerten, revolutionieren könnten. Wissenschaftler testen KIs ähnlich wie Schüler in der Schule. Sie beantworten dazu Prüfungsfragen, die von Experten, Akademikern und Professoren aus der ganzen Welt erstellt werden. Dabei zeigt der Prozentsatz richtiger Antworten, wie leistungsfähig und qualitativ hochwertig die neuen KI-Produkte sind.

In den letzten Jahren konnte jedoch beobachtet werden, dass viele KI-Programme diese einfachen Fragen sehr schnell und mit hoher Genauigkeit beantworteten. Dies führte zu der Erkenntnis, dass die verwendeten Fragen zu einfach und die Technik sich viel schneller weiterentwickelt, als zunächst angenommen. Experten sagen, es sei, als würden Universitätsabsolventen mit Fragen aus der Schule geprüft. Der bekannte Unternehmer Elon Musk kritisierte dies scharf und stellte fest: „Wenn ich die Fragen beantworten kann, sind sie zu einfach!“

Das „Center for AI Safety“ (CAIS) in San Francisco hat daraufhin ein bemerkenswertes Projekt ins Leben gerufen, das den Namen „Humanity’s Last Exam“ (Die letzte Prüfung der Menschheit) trägt. Unter der Leitung von Dan Hendrycks, einem führenden Forscher im Bereich der KI-Sicherheit, entwickeln mehr als 1.000 Experten aus 50 Ländern neue, anspruchsvolle Prüfungsfragen. Aus insgesamt 70.000 Vorschlägen wurden 3.000 Fragen aus den Bereichen Mathematik, Naturwissenschaften, Logik, Geschichte und Geisteswissenschaften ausgewählt.

Diese neuen, schwierigen Prüfungen sollen in Zukunft als Maßstab für die Beurteilung von KIs dienen. Einige der Fragen sind so komplex, dass nur sehr wenige Wissenschaftler sie beantworten könnten. Ein Beispiel aus der Biologie lautet: „Kolibris innerhalb der Apodiformes haben ein einzigartiges, beidseitig gepaartes ovales Knochenstück. Wie viele gepaarte Sehnen werden von diesem Sesambein gestützt?“ Und in der Geschichte könnte eine Frage lauten: „Übersetzen Sie diese antike römische Inschrift.“

Die ersten Testversuche mit diesen neuen Fragen zeigten, dass selbst die besten KI-Systeme nur etwa acht Prozent der Fragen richtig beantworten konnten. Zum Vergleich: Mit den vorherigen Tests lag der Erfolg dieser Systeme bei über 90 Prozent. Dan Hendrycks warnte jedoch, dass es noch zu früh für vorschnelle Begeisterung sei. Er nimmt an, dass KI-Produkte, die im Jahr 2025 auf den Markt kommen, bereits etwa 50 Prozent der neuen Fragen korrekt beantworten könnten.

„Wir stoßen an eine Grenze“, sagte Hendrycks in einem Vortrag. In nicht allzu ferner Zukunft könnten KI-Programme Fragen stellen, auf die selbst hochqualifizierte Fachleute keine Antwort wissen. Das wirft die Frage auf, wie wir KI-Produkte künftig bewerten werden.

Kevin Zhou von der University of California weist jedoch darauf hin, dass Künstliche Intelligenz weiterhin an Grenzen stößt, wenn es um menschliche Kreativität geht. „Sie können komplizierte mathematische Aufgaben lösen, aber sie scheitern oft an einfachsten Problemen“, erklärt Zhou. Die Diagnose von Krankheiten durch KI ist häufig präziser als die von Ärzten, doch die Grundlagenforschung in der Medizin erfordert ein komplexes Denken, Fantasie und Kreativität, die eine KI nicht hervorbringen kann.

Insgesamt zeigt die Forschung, dass der Fortschritt im Bereich der Künstlichen Intelligenz rasant voranschreitet, jedoch auch auf Herausforderungen stößt. Die spannende Frage bleibt: Was bedeutet diese Entwicklung für die Zukunft der menschlichen Kreativität und wie werden wir die Fähigkeiten von KI in einer sich ständig verändernden Welt bewerten?