Zoomposium mit Prof. Dr. Konrad Kording: „Wie denken Maschinen?“

Informationen zur Person

In einer weiteren Folge in unserer „Zoomposium-Reihe“ zum Thema „KI-Forschung“  hatte mein Kollege Axel Stöcker vom „Blog der großen Fragen“ und ich die Möglichkeit mit dem bekannten und renommierten deutschen Physiker, Neurowissenschaftler  Prof. Dr. Konrad Körding ein Interview führen zu können.

Konrad, der im angelsächsischen Sprachraum auch als Konrad Kording bekannt ist, habe ich über eine Korrespondenz auf einer Social Media Plattform kennengelernt, bei der wir uns über einen wissenschaftlichen Artikel zur Möglichkeit des „Brain Readings“ (Kamal Nahas „AI re-creates what people see by reading their brain scans“ 2023) ausgetauscht hatten. Sein Name war mir auch bereits im Zusammenhang mit eines unserer letzten Zoomposium-Interviews mit Patrick Krauß geläufig, da dieser auch in diesem Zusammenhang Konrads oft zitierten Artikel „Could a Neuroscientist Understand a Microprocessor?“ (2017) erwähnte.

In diesem sehr bekannten Artikel hatte er zusammen mit Eric Jonas ein informationstechnologisches Experiment entwickelt. Hierzu wurde auf einem sehr einfachen, alten Prozessor MOS 6502 (3510 Transistoren), der z. B. im Apple I oder Commodore 64 verbaut worden ist, die alten Atari-Spiele z. B. „Donkey Kong“ „Space Invaders“ laufengelassen. Die dynamischen Prozesse dieses „sehr einfachen, künstlichen Organismus“, die hierbei abliefen wurden dann mit Hilfe neurowissenschaftlicher Methoden analysiert, um Auskunft darüber zu erhalten, was sich in seinen „Logik-Gatter-Netzwerk“ – im wahrsten Sinne des Wortes – eigentlich „abspielt“. Ein Ergebnis war:

„Ein wirkliches Verständnis selbst dieser vergleichsweise einfachen, vom Menschen geschaffenen Systeme bleibt daher schwer fassbar, und manchmal überraschen sie uns sogar mit wirklich überraschenden Eigenschaften [70]. Das Gehirn ist eindeutig viel komplizierter, und unsere Schwierigkeiten, Deep Learning zu verstehen, könnten darauf hindeuten, dass das Gehirn schwer zu verstehen ist, wenn es so etwas wie Gradientenabstieg auf eine Kostenfunktion anwendet.“ (https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005268,Hervorhebungen hinzugefügt)

Diese spannende Thematik zu „Wie denken Maschinen“ war für mich mit ein Grund mehr Konrad einmal um ein Interview zu den möglichen „kognitiven Prozessen auf Maschinen“ zu bitten, dem er freundlicherweise nachgekommen ist. Um ihn aber den wenigen Menschen, die ihn noch nicht kennen sollten, einmal besser vorzustellen, seien hier noch ein paar Informationen zu seiner Person erwähnt.

Konrad hatte von 1997 bis 2001 an der ETH Zürich studiert und dort sein Diplom in Physik und Computational Neuroscience abgelegt, da er nach eigenem Bekunden die Themen aus der kognitiven Neurowissenschaft eigentlich für viel spannender hielt.  Er arbeitete dann als wissenschaftlicher Mitarbeiter am Collegium Helveticum in Zürich und an dem University College London, worauf er eine Heisenberg Stelle am Massachusetts Institute of Technology MIT annahm. Danach arbeitete er an der Northwestern University und am Rehabilitation Institute of Chicago, wo er Professor für Physikalische Medizin und Rehabilitation, Physiologie und angewandte Mathematik war.

2017 wechselte er an die University of Pennsylvania, wo er eine Professur im Department of Neuroscience und im Department of Bioengineering innehat. Zusammen mit anderen Wissenschaftlern gründete er 2020 die gemeinnützige Organisation „Neuromatch„, welche sich mit der Förderung der Chancengleichheit in den Wissenschaften und die Entwicklung einer Politik der offenen Wissenschaft in Form von neurowissenschaftlichen Sommerschulen und Workshops beschäftigt. Neuromatch gehört in den USA zu den erfolgreichsten „Open-Science-“ und „Remote-Learning„-Projekten.

Informationen zur seiner wissenschaftlichen Arbeit

Sein Forschungsschwerpunkt liegt hauptsächlich auf der Verbindung von experimentellen Methoden mit der Anwendung von Berechnungsprinzipien. Als wichtigstes Prinzip seiner Arbeit steht die Idee „normativer Modelle“ und insbesondere der Bayes’schen Statistik im Vordergrund. Seine experimentellen Arbeiten befassen sich hauptsächlich mit motorischem Lernen und motorischer Kontrolle, wobei er diese Phänomene mit Bayes’schen Ideen in Verbindung bringt.

In jüngster Zeit hat er sich auf Methoden zur Analyse neuronaler Daten und Methoden zur Gewinnung großer neuronaler Datensätze konzentriert, siehe „Brain Initiative„. Zu dem gleichen Zwecke hat er eine kooperative, interdisziplinäre Forschungsgruppe „Kording Lab“ aus Datenwissenschaftlern mit Interesse an Gehirnen und allgemeiner an biomedizinischer Forschung ins Leben gerufen, die sich mit den Themen „Deep Learning“ und seine Anwendungen, der Analyse neuronaler Daten, ihrer Kausalität und ihre Verbindungen zum maschinellen Lernen beschäftigt.

Die Ergebnisse seiner wissenschaftlichen Forschung beinhalten häufig Verbesserungsvorschläge für neurowissenschaftliche Methoden und Heuristiken, wie er sie z. B. in seinen Artikeln „A deep learning framework for neuroscience“ (2019) und „Machine Learning for Neural Decoding“ (2020) vor, dass man stattdessen die leistungsfähigeren Tools des „Machine Learnings“, wie z. B. die mathematische Methdode der „gradient descents“ oder „backpropagation“ nutzt.

In seinem aktuellen Artikel „The study of plasticity has always been about gradients“ (2023) verwendest er z. B. das Prinzip der „gradient descents“ um die Neuroplastizität des Gehirns bei Lernvorgängen besser zu beschreiben. Hierzu verwendet er die Methodik der „Hebbian Plastizität“, um diese Vorgänge besser beschreibbar zu machen. Das Prinzip der „Bayesschen Netze“ wird hierbei  durch eine „unterschiedlichen Gewichtung“ oder dem „Multiplexing“ erweitert, um ein besseres Modell zu den kognitiven Prozessen im Gehirn zu erhalten. Die im EEG auftretenden „Spikes“ könnten nämlich u. U.  außer ihrem lokalen Informationsgehaltes auch noch einen nicht-lokalen, „temporalen Code“ als „Spike Train“ besitzen, um die Kommunikation zwischen weiter weg liegenden Neuronenverbänden zu ermöglichen.

Insofern stellt Konrads wissenschaftliche Arbeit ein hervorragendes Beispiel für die von mir schon so oft geforderte „concept-fact iterativity“ dar, da hier in methodischer Form eine ständige „backpropagation“ der mathematischen, normativen Modelle mit neuronalen Datensätzen stattfindet und zu einer Verbesserung der Modelle führt.

Interviewfragen: „Wie denken Maschinen?“

Lieber Konrad, ich möchte Dir zunächst einmal sagen, welche große Ehre und Freude es für uns ist, dass Du Dich zu diesem Zoomposium-Interview mit uns bereit erklärt hast.

1. Zu Beginn stellen wir meistens eine nicht immer ganz ernst gemeinte Frage, um einen etwas lockeren Einstieg in die Thematik zu erhalten. Daher zunächst einmal die Frage an Dich:

Dein Forschungsschwerpunkt liegt unter anderem darauf computationale Prinzipien (Zielfunktionen, Lernregeln und Architekturen) des „Machine Learnings (ML)“ für die konkrete Anwendung in den kognitiven Neurowissenschaften fruchtbar zu machen.

• Hättest Du, wenn Du heute morgen den kompletten Datensatz (im Sinne eines Laplaceschen Dämons 😉 unserer physiologischen, neuronalen und biochemischen Gehirnfunktionen (EEG, fMRT, PET, Neurotransmitter,…) erhalten hättest, hieraus mit Hilfe geegneter „brain decoder“ eine zutreffende Prognose berechnen können, wie sehr wir uns auf das Interview mit Dir freuen oder wie sehr dieses unseren „Jorge Hirsch’s h-index“ als erfolgreiche Wissenschaftsjournalisten verändern wird?
• Aber vielleicht könnest Du zunächst einmal unseren Zuschauer:innen Deine Forschungsarbeit und Deine bisherigen Ergebnisse, die Du zusammen mit Deinem Team an der Pennsylvania University und in dem „Kording-Lab“ gewonnen hast, genauer erläutern.

2. In einem Deiner sehr bekannten Artikel „Could a Neuroscientist Understand a Microprocessor“ (2017) hast Du zusammen mit Eric Jonas ein Experiment entwickelt. Bei dem Experiment hast Du auf einem sehr einfachen, alten Prozessor MOS 6502 (3510 Transistoren), der z. B. im Apple I oder Commodore 64 verbaut worden ist, einmal die alten Atari-Spiele z. B. „Donkey Kong“ „Space Invaders“ laufen lassen. Hierbei wurden die dynamischen Prozesse dieses „sehr einfachen, künstlichen Organismus“ mit Hilfe neurowissenschaftlicher Methoden analysiert, um Auskunft darüber zu erhalten, was sich in seinen „Logik-Gatter-Netzwerk“ – im wahrsten Sinne des Wortes – eigentlich „abspielt“.

Ein Ergebnis war: „Ein wirkliches Verständnis selbst dieser vergleichsweise einfachen, vom Menschen geschaffenen Systeme bleibt daher schwer fassbar, und manchmal überraschen sie uns sogar mit wirklich überraschenden Eigenschaften [70]. Das Gehirn ist eindeutig viel komplizierter, und unsere Schwierigkeiten, Deep Learning zu verstehen, könnten darauf hindeuten, dass das Gehirn schwer zu verstehen ist, wenn es so etwas wie Gradientenabstieg auf eine Kostenfunktion anwendet.“ (https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005268)

• Könntest Du uns vielleicht zunächst einmal das Ergebnis in Hinsicht auf das bisher vorherrschende Paradigma der Neurowissenschaften (z. B. „Big Data“, „Neuroimaging“,…) interpretieren?

3. Die Entwicklung einer „Allgemeinen Künstlichen Intelligenz“ (AKI oder Englisch AGI für „Artificial General Intelligence“) fasziniert Experten wie Laien gleichermaßen. Je nachdem ob man Techno-Skeptiker oder Utopisten fragt, bekommt man die Einschätzung, dass ihre Entwicklung nie oder schon einem Jahrzehnt möglich sein wird.

• Wo befindest Du Dich in diesem Spektrum?

Du schlägst zur Verbesserung der neurowissenschaftlichen Methoden und Heuristiken in Deinen Artikeln (z. B. „A deep learning framework for neuroscience“ 2019, „Machine Learning for Neural Decoding“, 2020) vor, dass man stattdessen die leistungsfähigeren Tools des „Machine Learnings“, wie z. B. die mathematische Methdode der „gradient descents“ nutzt.

• Könnest Du dieses Konzept, das auch für die „Backpropagation“ der Verbesserung des rekurrenten Lernens von „AI-Agents“ sehr wichtig ist, erläutern?
• Inwiefern könnte diese Methoden zur Entwicklung einer AKI beitragen?

4. In einem aktuellen Artikel „The study of plasticity has always been about gradients“ (2023) verwendest Du das Prinzip der „gradient descents“ um die Neuroplastizität des Gehirns bei Lernvorgängen besser zu beschreiben.

• Könntest Du uns bitte einmal erläutern, inwiefern dies die „Hebbian Plastizität“ besser beschreibbar macht?
• Wie lässt sich Deiner Meinung nach das Problem der „unterschiedlichen Gewichtung“ oder dem „Multiplexing“ bei Deinem Modell lösen. Wie verwendest Du hierbei das Prinzip der „Bayesschen Netze“?
• Könnten Spikes aus Deiner Sicht vielleicht außer ihrem lokalen Informationsgehaltes auch noch einen nicht-lokalen, „temporalen Code“ als „Spike Train“ besitzen, um die Kommunikation zwischen weiter weg liegenden Neuronenverbänden zu ermöglichen?

5. Bei der Auswertung der lokalen Feldpotentiale aufgefallen, dass die gemessenen Werte und dargestellten Kurvenverläufe des untersuchten MOS-Prozessor lustigerweise sehr große Ähnlichkeiten mit den Messungen an menschlichen Gehirnen hatte. Bei der Spektralanalyse war Euch zudem auch ein „power law“-Verhalten aufgefallen, das auf eine Oszillation oder „Rhythmisierung“ in bestimmten Prozessorbereichen hinwies.

• Ist es tatsächlich „so schwer dem Prozessor eine ‚self-organized criticality‚ zu zuschreiben?
• Wie lässt sich dieses „power-law“-Verhalten des Prozessors überhaupt erklären, weil es doch eigentlich in einer „von Neumann-Architektur“ gar nicht vorgesehen ist?
• Könnte man Deiner Meinung nach hieraus allgemeinere Prinzipien zur Beschreibung von kognitiven Prozessen im Gehirn ableiten?
• Was hältst Du von Quantencomputern?

6. Ray Kurzweil sprach schon 2014 in seinem Buch „Menschheit 2.0“ von einer nahenden Singularität: Sobald die KI so intelligent sei, dass sie ihre eigene Programmierung schneller verbessern könne als Menschen, könnte dies zu einer explosionsartigen Verbesserung von KI und damit zu einer AKI oder gar einer „Superintelligenz“ führen. Was das bedeuten könnte, schrieb schon 1965 der britische Mathematiker Irving J. Good: „Die erste ultraintelligente Maschine ist die letzte Erfindung, die der Mensch je machen muss, vorausgesetzt, die Maschine ist gutmütig genug, um uns zu sagen, wie man sie unter Kontrolle behält.“

• Wie stehst Du zur Möglichkeit einer Singularität und welches Szenario für die Zeit danach hältst Du für wahrscheinlich?

Wir bedanken uns ausdrücklich bei Dir, lieber Konrad, dass Du Dir die Zeit für unser Interview genommen hast, um unsere Fragen zu beantworten.

Der Teaser zu unserem vollständige Interview ist auf unserem Youtube-Kanal „Zoomposium“ unter folgendem Link zu sehen:

https://youtu.be/HOHZSG8zRbA

© Axel Stöcker („Die großen Fragen“), Dirk Boucsein („philosophies.de“)