KI lernt „intuitives“ Verständnis von Physik

Eine künstliche Intelligenz (KI) soll auf Basis von Videos, die das physikalische Verhalten von Objekten zeigen, ein intuitives Verständnis für Grundlagen der Physik entwickelt haben, wie das Science Media Center Deutschland berichtet.

Das entsprechende Modell „Plato“ stellen Forscher der britischen KI-Schmiede DeepMind – einer Tochter der Google Holding Alphabet – in einer Studie vor, die am 11.07.2022 im Fachjournal „Nature Human Behaviour“ erschienen sei (siehe Primärquelle).Gerade bei den großen Sprachmodellen, wie GPT-3 und Lamda, die in den vergangenen Jahren immer wieder in den Schlagzeilen standen, merkten Kritiker an, dass diese Modelle kein grundsätzliches Verständnis der Welt aufweisen. In der vorliegenden Studie haben die Forscher versucht, einer KI eine gewisse, wenn auch sehr beschränkte, Art eines solchen Verständnisses beizubringen.

Dazu haben sie auch Ansätze aus der Entwicklungspsychologie angewandt.Beim Trainieren des Modells haben die Forscher Plato Videos aus einem selbst erstellten Datensatz gezeigt, in denen das physikalische Verhalten von Objekten zu sehen war: Bälle rollten und hüpften, kollidierten mit anderen Objekten, waren zum Teil zeitweise durch andere Objekte verdeckt, Objekte prallten auf den Boden auf. Dadurch sollte Plato fünf physikalische Grundkonzepte kennenlernen, die die Forscher als Objektpermanenz, Solidität, Kontinuität, Unveränderlichkeit und direktionale Trägheit bezeichnen.

Danach haben sie frei nach dem violation-of-expectation Paradigma aus der Entwicklungspsychologie überprüft, ob das Modell erkennt, wenn diese Konzepte verletzt werden – ein rollender Ball beispielsweise hinter einem anderen Objekt verschwindet, aber nicht wieder auftaucht. Dieser Ansatz werde auch bei Kleinkindern verwendet, um aus ihren Reaktionen abzuleiten, ob ein Ereignis eingetreten ist, wie erwartet, oder sie davon überrascht sind.Plato stellte sich als gut darin heraus, zu erkennen, wenn Objekte sich nicht gemäß physikalischer Regeln bewegen – auch bei Objekten oder Ereignissen, die in dieser Form nicht in den Trainingsdaten vorhanden waren.

Laut den Autoren könnte das ein Schritt auf dem Weg sein, einer KI ein allgemeineres Verständnis der Welt zu vermitteln. Außerdem diskutieren die Autoren, inwiefern ihre Arbeit und ähnliche KI-Forschung auch neue Erkenntnisse für die Entwicklungspsychologie liefern kann.„Forschung in künstlicher und natürlicher Intelligenz habe eine lange gemeinsame Historie, in der Erkenntnisse in einem Feld im anderen Feld umgesetzt und getestet wurden.

Die ersten künstlichen neuronalen Netzwerke wurden etwa von McCulloch und Pitts im Gebiet der Neurowissenschaften entwickelt (siehe [1] für eine Sammlung an Forschungsergebnissen in denen natürliche Intelligenz die künstliche Intelligenz nachwirkend beeinflusst hat). Insbesondere in Bereichen wie Weltwissen, in denen unsere aktuellen KI-Modelle noch deutliche Schwachstellen aufweisen, sei es daher nachvollziehbar, sich an einem System zu orientieren, das viele dieser Probleme gelöst habe – dem menschlichen Gehirn.“„Es sei jedoch auch denkbar, dass wir immer bessere KI-Modelle entwickeln können, ohne uns stark an natürlicher Intelligenz zu orientieren.

Neue Ergebnisse in Modellen, die Bilder oder Text generieren, deuten an, dass schon Skalierung allein – zu größeren Modellen mit mehr und mehr Daten – beeindruckende Ergebnisse liefert, ohne auf die menschliche Intuition beim Bau dieser Modelle angewiesen zu sein. Das Wettrennen, welcher Ansatz die nächste Generation an KI-Modellen mit Weltwissen am schnellsten entwickelt, sei bereits im Gange.“„Heutige KI-Modelle seien Menschen gegenüber in vielerlei Hinsicht unterlegen: logische Argumentation, Lernen aus wenigen Beispielen, Kombinatorik, robustes Verhalten trotz Veränderungen im sensorischen Input, Generalisierung zu neuen Konzepten – es gibt viele weitere Beispiele.

Aber diese Liste sei in den letzten Jahren immer kürzer geworden – künstliche neuronale Netzwerke verhalten sich mehr und mehr wie Menschen und lösen Probleme in beispielsweise der Bilderkennung ähnlich wie unser Primatengehirn. Ich bin insofern optimistisch, dass wir solche Fortschritte weiterführen können und Modelle entwickeln, die uns mit zunehmender Genauigkeit erklären können, wie das Gehirn menschliche Intelligenz umsetzt.“„Selbst Dinge wie genetische Prädispositionen rücken langsam in den Fokus der KI-Forscher: Kürzlich wurde festgestellt, dass bereits ein kleiner Teil der anderweitig sehr großen Modelle eine vergleichbare Performance zu den ursprünglichen Modellen erreichen könne [2].

Ansätze, um die Modelle ähnlich zum Geburtszustand des Gehirns zu initialisieren [3] könnte KI somit von ‚Geburt‘ an die richtigen Grundlagen wie in natürlicher Intelligenz geben [4].“„Das PLATO-Modell in diesem Paper sei auch ein Schritt in diese Richtung, KI-Modelle ähnlicher zu natürlicher Intelligenz zu gestalten: Das Modell orientiert sich an der Kognitionswissenschaft und repräsentiert Objekte explizit – anstatt Teile des Bild-Inputs zu Objekten zu kombinieren –, wodurch das Modell in der Lage ist, Elemente der Physik zu erlernen. Die Forscher zeigen, dass das Modell ohne diese menschlich inspirierte Repräsentation von Objekten nicht in der Lage ist, physische Komponenten zu erlernen.“Auf die Frage, inwiefern solche Ansätze der künstlichen Intelligenz auch wichtige Fragen aus der Entwicklungspsychologie beantworten könnten: „In den letzten Jahren wurden Neuro- und Kognitionswissenschaften durch Deep Learning revolutioniert.

In den Bereichen visueller und akustischer Sensorik sowie in der Sprachverarbeitung erklären KI-Modelle die neuronale Aktivität im Gehirn und menschliches Verhalten mit höherer Genauigkeit als je zuvor [5] [6] [7]. Der Großteil dieser Studien habe jedoch Modelle mit erwachsenen Probanden verglichen – das aktuelle Paper von Piloto et al.

geht in eine spannende neue Richtung, indem es Eigenschaften von Menschen während ihrer Entwicklung mit KI-Modellen vergleicht, die mit einem begrenzten Datensatz trainiert werden. Können wir diese Modelle nutzen, um die menschliche Entwicklung genauer zu untersuchen und in Zukunft womöglich sogar zu verbessern, beispielsweise durch individualisierte Lernkonzepte? Ich bin optimistisch.“„Die Studie bezieht sich auf entwicklungspsychologische Forschung zu physikalischem ‚Kernwissen‘ in der frühen Kindheit.

Bereits wenige Monate alte Babys schauen länger auf eine physikalisch unmögliche Szene. Beispielsweise wenn ein Ball augenscheinlich durch eine Tischplatte hindurch fällt oder von der Tischplatte rollt und dann in der Luft stehenbleibt, statt auf den Boden zu fallen.

Es gibt schon seit Jahrzehnten eine lebhafte Debatte darüber, ob Babys ein rudimentäres Verständnis für einige physikalische Grundregeln haben oder ob sie dieses Verständnis basierend auf Regelmäßigkeiten in ihrem täglichen Erleben und Beobachten sehr schnell erwerben.“„Piloto et al. sind in der Interpretation ihrer Ergebnisse in dieser Hinsicht angemessen vorsichtig.

Ihre Ergebnisse sprechen dafür, dass ein System diese physikalischen Gesetzmäßigkeiten aus visuellem Input relativ schnell lernen kann. Eingebaut hatten sie in ihr Modell kein Kernwissen im engeren Sinn, aber die Fähigkeit, einzelne Objekte aus dem visuellen Input heraus zu segmentieren und zu tracken, also perzeptuelle Fähigkeiten, die Babys auch schon sehr früh zeigen.

Die Autoren bemerken dazu, dass auch diese Fähigkeiten prinzipiell gelernt werden können. Insofern wundere ich mich mehr über die Schlussfolgerung im dazugehörigen Kommentar zur Studie von Hespos und Shivaram [8], dass ‚built-in knowledge‘ – also eingebautes Wissen – für den Lernprozess erforderlich sei.

Das geht aus dem Originalpapier für mich nicht hervor.“Auf die Frage, ob es aus Sicht der Kognitionswissenschaften Aspekte der kindlichen Entwicklung gibt, die nicht durch KI beziehungsweise Deep Learning abgebildet werden können: „Babys lernen nicht durch reine, passive Beobachtung wie das Modell in der Studie. Sie werden nicht mit visuellem Input ‚gefüttert‘.

Babys seien aktive Lernende, die sich, geleitet durch ihre intrinsische Neugier, selbst aussuchen, worauf sie ihre Aufmerksamkeit lenken. Dabei werden sie zudem von den Menschen in ihrem Umfeld beeinflusst.

Wenn Mama oder Papa erstaunt etwas anschauen, dann erhöht das die Wahrscheinlichkeit, dass auch ihr Baby das entsprechende Ereignis aufmerksam betrachtet. Diese sozialen Einflüsse fehlen im Modell von Piloto et al.

Sobald Babys motorisch kompetenter und mobiler werden, lernen sie zudem durch aktive Exploration. Beispielsweise haben frühere Studien gezeigt, dass Babys Objekte, die sich augenscheinlich physikalisch unmöglich verhalten, später aktiv testen.

Fiel der Ball zuvor scheinbar durch den Tisch, werde er hinterher fest auf den Tisch geklopft, ganz so als wollte das Baby eine Hypothese testen.“Auf die Frage, inwiefern Erkenntnisse aus solchen Ansätzen der künstlichen Intelligenz auch wichtige Fragen aus der Entwicklungspsychologie beantworten könnten: „Das Deep Learning System in der Studie von Piloto und Kollegen lernt wie gesagt ganz anders als ein Baby im echten Leben. Insofern sei die Übertragbarkeit der Ergebnisse auf die menschliche Entwicklung begrenzt.

Es sei vielmehr ein stark vereinfachtes Modell, das uns etwas über die minimalen Voraussetzungen sagt, die erfüllt sein müssen, damit ein System dieselben Vorhersagen macht – und Vorhersagefehler, wenn etwas unmögliches passiert – wie ein kleines Baby. Insofern sei diese Forschung durchaus spannend aus entwicklungspsychologischer Perspektive, aber ich bin skeptisch, ob sich daraus wegweisende neue Erkenntnisse zur frühen menschlichen Entwicklung gewinnen lassen.

Umgekehrt freue ich mich aber, dass entwicklungspsychologische Erkenntnisse zur Entwicklung von Deep Learning Systemen herangezogen werden. Die Studie zeigt sehr eindrucksvoll, dass dies ein sinnvoller Ansatz ist.“„Methodisch sei die Studie meines Erachtens sauber durchgeführt, sollte jedoch nicht überinterpretiert werden — der Titel des Kommentars von Susan Hespos und Apoorva Shivaram, ‚Can a computer think like a baby?‘ [8], sei missverständlich, da diese Frage nicht direkt adressiert wird.

Bei der Darstellung der Studie seien die gemachten, teilweise gravierenden, Vereinfachungen zu beachten: Es werde mit graphisch stark vereinfachten Bildsequenzen gearbeitet, in denen nur jeweils ein einzelner Effekt zu beobachten ist. Überdies werde Wissen über die relevanten Objekte in den Bildsequenzen vorgegeben, das Lernen findet also nicht alleine anhand der visuellen Information statt.“„Die Studie sei primär als ein Beitrag zur Psychologie zu sehen, die gezeigten Lernleistungen einzelner Phänomene seien durch KI-Systeme auf Basis unterschiedlicher Techniken – mit oder ohne Lernen – leicht zu erreichen.

Die Grenze des für KI Machbaren sei jedoch bei Alltagsproblemen sehr schnell erreicht. Beispielsweise legen Menschen Objekte intuitiv auf schrägen Oberflächen ab, ganz ohne Wissen um physikalische Parameter wie Reibung.

Aktuelle Roboter benötigen hingegen ein exaktes Modell ihrer Umgebung, welches in den seltensten Fällen verfügbar ist. Die Wichtigkeit der Beherrschung naiver Physik wurde bereits 1979 vom britischen KI-Forscher Pat Hayes in seinem ‚Naive Physics Manifesto‘ angemahnt, Fortschritte erweisen sich jedoch als schwierig.“„Die Relevanz der Studie für KI ist, nahezulegen, dass ein objektzentrierter Ansatz sowie Vorwissen zum Erlernen naiver Physik kognitiv plausibel und erfolgversprechend sind, um das für ein zielstrebiges Handeln in der echten Welt notwendiges Wissen aufzubauen.

Damit liefert die Studie Motivation und Begründung für schon seit frühen Zeiten der KI verfolgte Ansätze, die Verständnis physikalischer Alltagsphänomene modellieren und wissensbasierte Prozesse mit Wahrnehmung und Lerntechniken integrieren (‚hybride KI‘). Die Studie untermauert die Kritik an der Hypothese und dem oft gezeichneten Bild aktueller KI, dass sich jegliches intelligente Verhalten direkt erlernen ließe (‚end-to-end learning‘); sie motiviert vielmehr, dass KI-Techniken jenseits maschinellen Lernens nach wie vor wichtig sind.“„Beim Menschen kennen wir unterschiedliche Formen des Lernens.

Es gibt das Einpauken von reflexartigen Assoziationen, so wie wir zum Beispiel das ‚kleine Einmaleins‘ trainieren. Die Standardmethoden des Maschinellen Lernens seien am ehesten mit dieser Form des Lernens vergleichbar.

Für den größten Teil unseres Lebens sei diese Form des Lernens aber gar nicht anwendbar. Die meisten Entscheidungen müssen wir ohne spezielles Training treffen.

Dafür entwickelt unser Gehirn kontinuierlich kognitive Modelle von der Umwelt und sei darin unglaublich effizient und erfolgreich. Beim Nachahmen dieser Fähigkeit steht die künstliche Intelligenz noch ganz am Anfang.

Doch es gibt eine kleine, aber wachsende Gruppe von Forscher:innen, die es genau darauf anlegen, diese natürlichen Formen des Lernens besser zu verstehen, wie zum Beispiel die ELLIS Fellows unseres ‚Natural Intelligence‘ Programms, dem auch Matt Botvinik, der Senior-Autor der Studie, angehört.“„Ich kenne die Studie bisher nur aus der Doktorarbeit von Luis Piloto. Inspiriert durch Methoden der Entwicklungspsychologie werde dort eine neue Methode vorgeschlagen, um Lernalgorithmen zu vergleichen.

Dazu haben sie spezielle Filme entwickelt, für die es jeweils zwei zwillingsähnliche Varianten gibt, bei der aber nur die eine Variante mit den Gesetzen der Physik übereinstimmt und die zweite nicht. Die Autoren finden dann, dass die Vorhersagequalität eines ‚objektzentrierten‘ Algorithmus stärker von der Übereinstimmung mit den physikalischen Gesetzen abhängt als der eines üblichen Faltungsnetzes (ein künstliches neuronales Netz, ein Konzept des maschinellen Lernens; Anm.

d. Red.).

Das spricht dafür, dass objektzentrierte Algorithmen besser geeignet sind, um physikalische Gesetzmäßigkeiten für die Vorhersage zu nutzen.“„Es gibt aber natürlich noch viele andere Kriterien, die zur Bewertung eines Lernalgorithmus wichtig seien und auch schon diverse Varianten von objektzentrierten Algorithmen, die bei anderen Tests erfolgreich waren. Die Tragweite der Publikation werde daher am Ende vor allem davon abhängen, wie nützlich sich die neue Vergleichsmethode in der Zukunft erweisen kann, um bessere objektzentrierte Algorithmen zu entwickeln.

Die größte Herausforderung besteht darin, dass das maschinelle Lernen irgendwann wie beim Menschen auch ganz ohne Betreuung oder Hilfestellung funktionieren sollte – also zum Beispiel ohne die Segmentierungsmasken, die hier noch von außen bereitgestellt wurden. Ich bin sehr gespannt, ob uns das bald gelingen wird.“Univ.-Prof.

Doktor Stefanie Höhl: „Ich habe keine Interessenkonflikte.“Piloto LS et al. (2022): Intuitive physics learning in a deep-learning model inspired by developmental psychology.

Nature Human Behaviour. DOI: 10.1038/s41562-022-01394-8.[1] Hassabis D et al.

(2017): Neuroscience-Inspired Artificial Intelligence. Neuron.

DOI: 10.1016/j.neuron.2017.06.011.[2] Frankle J et al. (2018): The Lottery Ticket Hypothesis: Finding Sparse, Trainable Neural Networks.

arXiv. DOI: 10.48550/arXiv.1803.03635. Hinweis der Redaktion: Es handelt sich hierbei um eine Vorabpublikation, die noch keinem Peer-Review-Verfahren unterzogen und damit noch nicht von unabhängigen Experten und Expertinnen begutachtet wurde.[3] Geiger F et al.

(2020): Wiring Up Vision: Minimizing Supervised Synaptic Updates Needed to Produce a Primate Ventral Stream. OpenReview.[4] Zador AM (2019): A critique of pure learning and what artificial neural networks can learn from animal brains.

Nature Communications. DOI: 10.1038/s41467-019-11786-6.[5] Yamins DLK et al.

(2014): Performance-optimized hierarchical models predict neural responses in higher visual cortex. PNAS.

DOI: 10.1073/pnas.1403112111.[6] Kell AJE et al. (2018): A Task-Optimized Neural Network Replicates Human Auditory Behavior, Predicts Brain Responses, and Reveals a Cortical Processing Hierarchy.

Neuron. DOI: 10.1016/j.neuron.2018.03.044.[7] Schrimpf M et al.

(2021): The neural architecture of language: Integrative modeling converges on predictive processing. PNAS.

DOI: 10.1073/pnas.2105646118.[8] Hespos S et al. (2022): Can a computer think like a baby? News & Views.

Nature Human Behaviour. DOI: 10.1038/s41562-022-01395-7..

Suche nach Stichworten:

Matt KI lernt „intuitives“ Verständnis Physik

---

---