Lesezeit ca. 11 Min.
arrow_back

Effiziente Vorhersagemaschine


Logo von Gehirn & Geist
Gehirn & Geist - epaper ⋅ Ausgabe 11/2022 vom 07.10.2022

PREDICTIVE CODING

Wie erzeugt unser Gehirn aus den Sinneseindrücken Wahrnehmungen? Eine Fülle an Forschungsergebnissen deutet darauf hin, dass es eingehende sensorische Reize nicht einfach wie ein Puzzle zu einem Gesamtbild zusammensetzen kann. So sind wir fähig, eine Szene auf Grundlage des in unsere Augen einfallenden Lichts selbst dann im Geiste konstruieren, wenn die ihr zu Grunde liegende Information verrauscht und mehrdeutig ist.

Artikelbild für den Artikel "Effiziente Vorhersagemaschine" aus der Ausgabe 11/2022 von Gehirn & Geist. Dieses epaper sofort kaufen oder online lesen mit der Zeitschriften-Flatrate United Kiosk NEWS.

Bildquelle: Gehirn & Geist, Ausgabe 11/2022

UNSER AUTOR Anil Ananthaswamy ist Wissenschaftsjournalist und Autor mehrerer Bücher. Er schreibt vor allem über Themen aus den Bereichen KI, Neurowissenschaft und Physik.

Deshalb gingen einige Fachleute dazu über, das Gehirn als eine »Vorhersagemaschine« zu betrachten. Mit Hilfe des so genannten »predictive processing« (übersetzt so viel wie: vorhersehende Verarbeitung) nutze es sein Vorwissen über die Welt, um Schlüsse zu ziehen oder Hypothesen darüber aufzustellen, was die eingehenden sensorischen Informationen bedingt haben könnte. Die Vermutungen – und nicht die Sinneseindrücke selbst – erzeugen dann die Wahrnehmungen vor unserem ...

Weiterlesen
epaper-Einzelheft 5,99€
NEWS Jetzt gratis testen
Bereits gekauft?Anmelden & Lesen
Leseprobe: Abdruck mit freundlicher Genehmigung von Gehirn & Geist. Alle Rechte vorbehalten.
Lesen Sie jetzt diesen Artikel und viele weitere spannende Reportagen, Interviews, Hintergrundberichte, Kommentare und mehr aus über 1050 Magazinen und Zeitungen. Mit der Zeitschriften-Flatrate NEWS von United Kiosk können Sie nicht nur in den aktuellen Ausgaben, sondern auch in Sonderheften und im umfassenden Archiv der Titel stöbern und nach Ihren Themen und Interessensgebieten suchen. Neben der großen Auswahl und dem einfachen Zugriff auf das aktuelle Wissen der Welt profitieren Sie unter anderem von diesen fünf Vorteilen:

  • Schwerpunkt auf deutschsprachige Magazine
  • Papier sparen & Umwelt schonen
  • Nur bei uns: Leselisten (wie Playlists)
  • Zertifizierte Sicherheit
  • Freundlicher Service
Erfahren Sie hier mehr über United Kiosk NEWS.

Mehr aus dieser Ausgabe

Titelbild der Ausgabe 11/2022 von Hauch der Vergangenheit. Zeitschriften als Abo oder epaper bei United Kiosk online kaufen.
Hauch der Vergangenheit
Titelbild der Ausgabe 11/2022 von Hunde weinen vor Glück. Zeitschriften als Abo oder epaper bei United Kiosk online kaufen.
Hunde weinen vor Glück
Titelbild der Ausgabe 11/2022 von Müde Menschen helfen weniger. Zeitschriften als Abo oder epaper bei United Kiosk online kaufen.
Müde Menschen helfen weniger
Titelbild der Ausgabe 11/2022 von Berührungen offenbaren Gefühle. Zeitschriften als Abo oder epaper bei United Kiosk online kaufen.
Berührungen offenbaren Gefühle
Mehr Lesetipps
Blättern im Magazin
Überall Max Mustermann
Vorheriger Artikel
Überall Max Mustermann
Hoffnung auf Genesung
Nächster Artikel
Hoffnung auf Genesung
Mehr Lesetipps

... geistigen Auge. Je mehrdeutiger die Eindrücke sind, desto stärker muss das Gehirn sich demnach auf sein Vorwissen verlassen.

»Das Schöne am ›predictive processing‹ ist, dass sich damit wirklich viele – Kritiker würden vielleicht sagen: zu viele – Phänomene erklären lassen«, so Floris de Lange, Neurowissenschaftler am Predictive Brain Lab der Radboud-Universität in den Niederlanden. Die Belege für diese Idee sind jedoch großteils indirekt und vielseitig interpretierbar, fügt sein Kollege Tim Kietzmann hinzu, der zu maschinellem Lernen forscht.

Um die Idee eingehender zu prüfen, wenden Fachleute sich vermehrt Computermodellen zu. Mit deren Hilfe wollen sie entschlüsseln, wie das Gehirn arbeitet. Informatikerinnen und Informatiker ließen sich bereits vor Jahrzehnten vom Verhalten biologischer Neuronennetzwerke inspirieren und entwickelten künstliche neuronale Netze. Diese können lernen, Vorhersagen über eingehende Informationen zu machen. Sie erlangen so einige Fähigkeiten, die denen eines Gehirns zu ähneln scheinen.

Dass die Wahrnehmung womöglich auf »predictive processing« beruht, mag auf den ersten Blick abwegig erscheinen: Das Prinzip erfordert schließlich einen komplizierten, nicht besonders intuitiven Prozess. In der Vergangenheit gab es aber immer wieder Menschen, die sich der Idee zuwandten, wenn andere Erklärungen unzureichend erschienen. Schon vor 1000 Jahren legte der muslimisch-arabische Astronom und Mathematiker Alhazen in seinem »Buch vom Sehen« einen solchen Mechanismus dar, um verschiedene Aspekte des Sehens zu beschreiben. Die Vorstellung gewann in den 1860er Jahren an Bedeutung. Damals argumentierte der deutsche Physiker und Arzt Hermann von Helmholtz, das Gehirn schließe auf äußere Ursachen der einströmenden Sinneseindrücke und konstruiere diese nicht »von unten nach oben« aus den sensorischen Reizen.

Plausible Erklärung für Sinnestäuschungen

Helmholtz entwickelte sein Konzept der »unbewussten Schlussfolgerung«, um die bi- oder multistabile Wahrnehmung zu erklären. Diese tritt bei bestimmten optischen Illusionen auf, bei denen sich ein Bild auf mehr als eine Weise interpretiert lässt. Ein Beispiel dafür ist die bekannte doppeldeutige Zeichnung, in der man eine Ente und ein Kaninchen erkennt. Unser Gehirn wechselt dabei ständig zwischen den beiden Tierbildern hin und her. Da sich das Licht, das auf die Retina trifft, nicht ändert, schloss Helmholtz: Das gesehene Bild muss sich aus einem unbewussten Prozess ergeben, der Voraussagen darüber macht, was die eingehenden Reize bedeuten.

Im 20. Jahrhundert feilten Kognitionspsychologen weiter an der These von der Wahrnehmung als aktivem Prozess. Sie postulierten, das Gehirn greife zur Konstruktion der Umwelt sowohl auf über die Sinne einströmende Bottom-up- als auch auf inhärente Top-down-Inputs zurück, die sich aus Vorwissen und Erwartungen speisen. In seiner 1980 erschienenen, einflussreichen Arbeit »Perceptions as Hypotheses« (Wahrnehmungen als Hypothesen) argumentierte Richard Langton Gregory (1923–2010), dass Sinnestäuschungen im Wesentlichen dann entstehen, wenn das Gehirn eine falsche Vermutung darüber anstellt, was hinter eingehenden sensorischen Reizen steckt.

Informatiker und Informatikerinnen versuchten zuerst, Computern allein mit Bottom-up-Ansätzen – also ohne einprogrammiertes, internes Modell als Referenz – beizubringen, Bildinhalte zu erkennen. Diese Vorgehensweise war laut dem Neurowissenschaftler Karl Friston vom University College London jedoch von Anfang an zum Scheitern verurteilt. Denn ohne einen solchen Abgleich könne man zwar Aussagen über Muster in den Daten machen, nicht aber über ihre Bedeutung.

Derweil nahm die Akzeptanz von »predictive processing« in Fachkreisen zu. Es blieb allerdings offen, wie das Prinzip in lebenden Organismen umgesetzt werden könnte. Ein beliebtes Modell, das so genannte »predictive coding«, geht von einer Hierarchie von Informati-onsverarbeitungsebenen im Gehirn aus. Die oberste Schicht repräsentiert abstraktes, hochrangiges Wissen. Sie macht Vorhersagen, indem sie die neuronale Aktivität der darunter liegenden vorwegnimmt. Zugleich sendet sie Signale »nach unten«. Die zweite Schicht nutzt diese, um ihre tatsächliche Aktivität mit der Vorhersage zu vergleichen. Gibt es eine Diskrepanz, erzeugt sie ein Fehlersignal, das wiederum nach oben fließt. Damit kann die höhere Schicht ihre Vorhersage aktualisieren.

Auf einen Blick: Vorweggenommene Eindrücke

1Während wir etwas wahrnehmen, stellt unser Gehirn Vermutungen darüber an, was die eingehenden Reize bedeuten könnten – und stützt sich dabei auf bereits angesammeltes Wissen.

2Diese Vorstellung bildet den Kern des »predictive processing«, einer These über die Funktionsweise des Gehirns. Mit künstlichen neuronalen Netzen testen Fachleute ihre Plausibilität.

3Dabei entdeckten sie: Wenn die Programme so arbeiten müssen, dass sie möglichst wenig Energie verbrauchen, organisieren sie sich nach einem der Theorie entsprechenden Prinzip.

Ein solcher Prozess findet gleichzeitig für jedes Paar untereinanderliegender Schichten statt, bis hinunter zur letzten, die den tatsächlichen sensorischen Input empfängt. Jede Diskrepanz zwischen dem, was von außen einströmt, und dem, was das Gehirn vorwegnimmt, führt zu einem Fehlersignal, das in der Hierarchie nach oben wandert. Die oberste Schicht aktualisiert schließlich ihre Hypothese. »Die Idee des ›predictive coding‹ setzt voraus, dass das Gehirn im Grunde zwei Populationen von Neuronen hat«, so de Lange. Eine Gruppe codiere demnach die derzeit beste Vorhersage über das, was wahrgenommen wird, während die andere Fehler erkennt und meldet.

Die Verwechslung als Vorhersagefehler Wie sich eine solche Verarbeitung praktisch auswirkt, lässt sich gut anhand eines Beispiels erklären: Stellen Sie sich vor, Sie gehen einen Waldweg entlang. Plötzlich meinen Sie, ein paar Meter vor sich im Dickicht eine Schlange zu erkennen. Nach dem ersten Schreckmoment – also der Zeit, die das Gehirn braucht, um die eingehende Information mit seiner Vorhersage abzugleichen – bemerken Sie, dass das Objekt am Boden gar kein Tier ist, sondern nur ein Stück Seil.

1999 erstellten die Computerwissenschaftler Rajesh Rao und Dana Ballard (damals am Salk Institute und an der University of Rochester) ein Computermodell, das nach dem Prinzip des »predictive coding« aufgebaut war. Es bestand aus künstlichen Neuronen, die jeweils ausschließlich für die Vorhersage oder für die Fehlerkorrektur zuständig waren. Die Forscher modellierten damit Teile eines Pfads im visuellen Verarbeitungssystem eines Primatengehirns. Er besteht aus hierarchisch organisierten Regionen, die beim Erkennen von Gesichtern und Objekten mitwirken. Mit dem Ansatz gelang es Rao und Ballard, einige ungewöhnliche Eigenschaften des natürlichen Vorbilds darzustellen.

Die beiden Fachleute führten diese Arbeit noch vor dem Aufkommen moderner tiefer neuronaler Netze durch. Sie bestehen jeweils aus einer Eingabeschicht, einer Ausgabeschicht und mehreren versteckten Zwischenschichten. Ab 2012 verwendeten Wissenschaftler und Wissenschaftlerinnen solche Konstrukte, um das Sehsystem von Primaten zu modellieren. Bei fast allen von ihnen handelte es sich jedoch um Feedforward-Netzwerke. Sie erlaubten es Informationen lediglich, in eine Richtung – vom Eingang zum Ausgang – zu fließen. »Das Gehirn ist aber eindeutig keine reine Feedforward-Maschine«, erklärt de Lange. »Im Gehirn gibt es viele Rückkopplungen, ungefähr so viele wie vorwärtsgerichtete Signale.«

KURZ ERKLÄRT:

»PREDICTIVE PROCESSING« ist ein Theoriegerüst, das davon ausgeht, dass vom Gehirn erzeugte Vorhersagen eine entscheidende Rolle bei der Wahrnehmung, der Kognition und dem Verhalten spielen.

»PREDICTIVE CODING« ist ein Codierungsprinzip, das auf dem »predictive processing« aufbaut. Demnach gibt es im Gehirn mehrere Informationsverarbeitungsschichten. Die oberste macht ständig Vorhersagen über eingehende Signale und korrigiert sie über Fehlersignale, die sie von den darunter liegenden Schichten erhält.

KÜNSTLICHES NEURONALES NETZ ist ein System, in dem künstliche Neurone auf bestimmte Arten miteinander verbunden sind, so dass es ihnen möglich ist, aus Inputsignalen selbstständig zu lernen.

REKURRENTES NEURONALES NETZ (RNN) ist ein schichtweise aufgebautes künstliches neuronales Netz, in dem der Output von Neuronen einer Schicht über Rückkopplungen auch als Input in vorgeschaltete Neurone einfließt.

Deshalb wandten Fachleute sich bald einer anderen Struktur zu, die in den so genannten rekurrenten neuronalen Netzen (RNN) realisiert ist. Diese Systeme zeigen Eigenschaften, die sie zu einem »idealen Substrat« für die Modellierung des Gehirns machen, so Kanaka Rajan, Neurowissenschaftlerin an der Icahn School of Medicine at Mount Sinai in New York. Ihre eigene Arbeitsgruppe verwendet sie, um die Wirkweise des Gehirns besser zu verstehen. RNNs haben sowohl Feedforward- als auch Feedback-Verbindungen zwischen ihren künstlichen Neuronen. Sie sind konstant aktiv, ganz unabhängig davon, welche Eingaben sie erhalten. »Die Fähigkeit, diese Dynamik über einen sehr langen Zeitraum – im Grunde für immer – zu erzeugen, ermöglicht es den Netzwerken, trainiert zu werden«, so Rajan.

Eine KI, die sich wie das Gehirn verhält?

Zusammen mit seinen Doktorvätern David Cox und Gabriel Kreiman erstellte William Lotter 2016 ein RNN, das lernte, das nächste Bild in einer Videosequenz vorherzusagen. Sie nannten es PredNet. »Ich nehme die Schuld dafür auf mich, dass ich nicht kreativ genug war, mir einen besseren Namen einfallen zu lassen«, gesteht Lotter. Das Team entwarf die Anwendung nach den Grundsätzen des »predictive coding«. Es besteht aus einer Hierarchie von vier Schichten, von denen jede die Eingabe vorhersagt, die sie von der darunter liegenden erwartet, und ein Fehlersignal nach oben sendet, wenn es eine Abweichung gibt.

Die Forscher trainierten das Netz mit Videos von Straßen, die von einer an einem Auto montierten Kamera aufgenommen worden waren. PredNet lernte, kontinuierlich das folgende Bild solcher Clips vorherzusagen. »Wir wussten nicht, ob es funktionieren würde«, so Lotter. Dass dies der Fall war, »war ziemlich cool«. Im Anschluss untersuchten sie PredNet auch aus neurowissenschaftlicher Warte. 2021 berichteten die Forscher, dass das System Verhaltensweisen zeigt, die man in Affengehirnen als Reaktion auf unerwartete Reize beobachtet. Darunter befanden sich welche, die in einfachen Feedforward-Netzwerken nur schwer zu replizieren sind.

Kietzmann, van Gerven und weitere Forschende an der Radboud-Universität verfolgten die Experimente mit Spannung. Für sie stellte sich daraufhin eine noch grundlegendere Frage: Das Modell von Rao und Ballard sowie PredNet enthielten künstliche Neurone, die explizit nur für die Vorhersage beziehungsweise die Fehlerkorrektur zuständig waren. Zudem waren Mechanismen einprogrammiert, die bewirkten, dass korrekte Top-down-Vorhersagen die Fehlerneurone hemmten. Was aber wäre, wenn man das nicht ausdrücklich vorgeben würde? »Wir fragten uns, ob all diese architektoni-schen Zwänge wirklich notwendig sind oder ob man mit einem noch einfacheren Ansatz auskommen würde«, erklärt Kietzmann.

Aufbau einer Pyramidenzelle

Wegen ihrer charakteristischen Form werden einige Neurone Pyramidenzellen genannt. Ihre Besonderheiten: Sie sind groß und multipolar, bilden also neben dem signalübertragenden Axon mehrere signalempfangende Zellfortsätze – so genannte Dendriten – aus. Denjenigen, der in entgegengesetzter Richtung zum Axon orientiert ist, nennt man apikalen Dendriten. Mehrere weitere basale Dendriten befinden sich auf der Seite des Axons. Pyramidenzellen unterhalten hunderte bis tausende Kontaktstellen (Synapsen, hier blau markiert) mit anderen Neuronen. Über sie gelangt Information direkt zum Zellkörper (axosomatisch) oder zum Dendriten (axodendritisch). Pyramidenzellen in der Großhirnrinde empfangen Signale von zahlreichen unterschiedlichen Quellen, darunter auch sensorische Reize.

Die Wissenschaftler argumentierten, dass neuronale Kommunikation offensichtlich mit hohen Kosten verbunden ist. Schließlich ist das Gehirn im Körper des Organ, das am meisten Energie verbraucht. Die Notwendigkeit, sparsam mit ihr umzugehen, könnte das Verhalten jedes sich entwickelnden neuronalen Netzwerks in Organismen einschränken. Die Arbeitsgruppe wollte deshalb untersuchen, ob sich für »predictive coding« typische Rechenmechanismen in RNNs allein dadurch ergeben könnten, dass die Systeme Aufgaben mit so wenig Energie wie möglich erfüllen müssen. Um das zu simulieren, schraubten sie an der Stärke der Verbindungen zwischen den künstlichen Neuronen, auch bekannt als Gewichte. »Wenn man die Gewichte verringert, führt das dazu, dass man mit weniger Energie kommuniziert«, erklärt Kietzmann. Diesen Eingriff betrachteten sie als Modell für die Minimierung synaptischer Übertragung, die einen Großteil des Energieverbrauchs in biologischen Neuronen ausmacht.

Das Team trainierte ein derartiges RNN mit Sequenzen aufeinander folgender Ziffern in aufsteigender, umlaufender Reihenfolge, also 1234567890, 3456789012, 6789012345 … und so weiter. Jede Nummer zeigten sie dem Netzwerk in Form eines 28 mal 28 Pixel großen Bilds. Die Anwendung generierte mit der Zeit selbst ein Modell, um die nächste Zahl ausgehend von einer beliebigen Stelle in der Folge vorherzusagen. Sie war dabei gezwungen, das mit den kleinstmöglichen Gewichten zwischen den Einheiten zu tun, analog zu den niedrigen Niveaus an neuronaler Aktivität in einem biologischen Nervensystem.

Unter diesen Bedingungen spezialisierten sich im Netzwerk künstliche Neurone von selbst zu »Vorhersage-einheiten« und zu »Fehlereinheiten«. Letztere waren besonders aktiv, wenn Erstere noch nicht in der Lage waren, die nächste Zahl richtig vorherzusagen. Ihre Aktivität nahm ab, als die Vorhersageeinheiten zunehmend korrekt arbeiteten. Entscheidend ist, dass das Netzwerk zu dieser Architektur gelangte, weil es den Energieverbrauch minimieren musste. »Es lernte die Art von Hemmung, die Menschen normalerweise explizit einbauen«, betont Kietzmann. »Unser System tut das von sich aus, um energieeffizient zu sein.«

Spurensuche in echten Neuronen

So überzeugend diese Daten aus computergestützten Studien erscheinen mögen – letztlich braucht es Messungen in lebenden Gehirnen, um »predicitive coding« in ihnen zu belegen. Hierzu formulierten Blake Richards von der McGill University und seine Kolleginnen und Kollegen einige klare Hypothesen darüber, was man in Neuronennetzen sehen sollte, während diese lernen, Vorhersagen über unerwartete Ereignisse zu treffen. Um die Prognosen zu überprüfen, kollaborierten sie mit einem Team vom Allen Institute for Brain Science in Seattle. Gemeinsam führten sie Experimente an Mäusen durch und beobachteten dabei die neuronale Aktivität im Gehirn der Tiere. Das Augenmerk lag auf bestimmten Neuronen im Neokortex (siehe »Aufbau einer Pyramidenzelle«), von denen man annimmt, dass sie sich aus anatomischer Sicht für »predictive coding« eignen. Diese Pyramidenzellen empfangen sowohl sensorische Bottom-up-Signale (über Synapsen an ihrem Zellkörper) als auch Top-down-Vorhersagesignale (über Synapsen an ihren apikalen Dendriten).

Die Versuchsleiter zeigten den Nagern Abfolgen von so genannten »Gabor patches« – Bilder, die aus hellen und dunklen Streifen bestehen. In jedem Clip erschienen nacheinander vier solcher Elemente, alle in ungefähr derselben Ausrichtung. Die Mäuse lernten also, dieses Muster zu erwarten. »Es muss für sie verdammt langweilig gewesen sein, sich die Videos anzusehen«, so Richards. Nach dem Training konfrontierten die Forscher die Versuchstiere mit etwas Unerwartetem: Das vierte »Gabor patch« ersetzten sie durch eines, das sie beliebig rotiert hatten. Die Nager waren zunächst überrascht, aber mit der Zeit gewöhnten sie sich an die Änderung. Während des gesamten Experiments beobachteten die Wissenschaftler, wie die Neurone der Mäuse die Reize verarbeiteten. Dabei stellten sie fest, dass viele der untersuchten Zellen unterschiedlich auf erwartete und unerwartete Reize reagierten. Entscheidend war, dass die Diskrepanz bei den lokalen, von unten nach oben gerichteten Signalen am ersten Testtag stark ausgeprägt war, während sie am zweiten und dritten Tag abnahm, als die Reize für die Tiere zunehmend weniger überraschend wurden. In einem »Predictive-processing«-Kontext würde das darauf hindeuten, dass neu gebildete Topdown-Erwartungen die Reaktionen auf eingehende sensorische Informationen reduzierten.

Die apikalen Dendriten reagierten mit der Zeit immer spezifischer auf die unvorhergesehenen Reize. Die neuronalen Schaltkreise schienen also zu lernen, die Eigenschaften der abweichenden Ereignisse besser zu repräsentieren. Das half ihnen dabei, beim nächsten Mal zutreffendere Vorhersagen zu machen. »Die Studie stützt die Idee, dass im Neokortex so etwas wie ›predictive coding‹ stattfindet«, so Richards.

Einzelne Beobachtungen zur neuronalen Aktivität oder zum Verhalten eines Tiers lassen sich zuweilen ebenso durch andere Modelle erklären. Das »predictive processing« bietet hingegen einen Rahmen, mit dem sich viele von ihnen auf einmal erklären lassen. Das spricht für diese Theorie über die Funktionsweise des Gehirns. »Für mich sind die Beweise zum aktuellen Zeitpunkt ziemlich überzeugend«, so Richards. »Ich bin sogar bereit, eine Menge Geld darauf zu setzen.« H

Von »Gehirn&Geist« übersetzte und bearbeitete Fassung des Artikels »To Be Energy-Efficient, Brains Predict Their Perceptions« aus »Quanta Magazine«, einem inhaltlich unabhängigen Magazin der Simons Foundation, die sich die Verbreitung von Forschungsergebnissen aus Mathematik und den Naturwissenschaften zum Ziel gesetzt hat.

QUELLEN

Ali, A. et al.: Predictive coding is a consequence of energy efficiency in recurrent neural networks. BioRxiv 10.1101/2021.02.16.430904, 2021

Gillion, C. J. et al.: Learning from unexpected events in the neocortical microcircuit. BioRxiv 10.1101/2021.01.15.426915, 2021

Lotter, W. et al.: A neural network trained for prediction mimics diverse features of biological neurons and perception. Nature Machine Learning 2, 2020

Rao, R. P. N., Ballard, D. H.: Predictive coding in the visual cortex: A functional interpretation of some extra-classical receptive-field effects. Nature Neuroscience 2, 1999

Dieser Artikel im Internet: www.spektrum.de/artikel/2053236