Wie denken Maschinen?

Zoomposium mit Prof. Dr. Konrad Kording: „Wie denken Maschinen?“

Zoomposium mit Prof. Dr. Konrad Kording: „Wie denken Maschinen?“

Informationen zur Person

In einer weiteren Folge in unserer Zoomposium-Reihe“ zum Thema „KI-Forschung  hatte mein Kollege Axel Stöcker vom „Blog der großen Fragen“ und ich die Möglichkeit mit dem bekannten und renommierten deutschen Physiker, Neurowissenschaftler  Prof. Dr. Konrad Körding ein Interview führen zu können.

Konrad, der im angelsächsischen Sprachraum auch als Konrad Kording bekannt ist, habe ich über eine Korrespondenz auf einer Social Media Plattform kennengelernt, bei der wir uns über einen wissenschaftlichen Artikel zur Möglichkeit des „Brain Readings“ (Kamal Nahas „AI re-creates what people see by reading their brain scans“ 2023) ausgetauscht hatten. Sein Name war mir auch bereits im Zusammenhang mit eines unserer letzten Zoomposium-Interviews mit Patrick Krauß geläufig, da dieser auch in diesem Zusammenhang Konrads oft zitierten Artikel „Could a Neuroscientist Understand a Microprocessor?“ (2017) erwähnte.

In diesem sehr bekannten Artikel hatte er zusammen mit Eric Jonas ein informationstechnologisches Experiment entwickelt. Hierzu wurde auf einem sehr einfachen, alten Prozessor MOS 6502 (3510 Transistoren), der z. B. im Apple I oder Commodore 64 verbaut worden ist, die alten Atari-Spiele z. B. „Donkey Kong“ „Space Invaders“ laufengelassen. Die dynamischen Prozesse dieses „sehr einfachen, künstlichen Organismus“, die hierbei abliefen wurden dann mit Hilfe neurowissenschaftlicher Methoden analysiert, um Auskunft darüber zu erhalten, was sich in seinen „Logik-Gatter-Netzwerk“ – im wahrsten Sinne des Wortes – eigentlich „abspielt“. Ein Ergebnis war:

„Ein wirkliches Verständnis selbst dieser vergleichsweise einfachen, vom Menschen geschaffenen Systeme bleibt daher schwer fassbar, und manchmal überraschen sie uns sogar mit wirklich überraschenden Eigenschaften [70]. Das Gehirn ist eindeutig viel komplizierter, und unsere Schwierigkeiten, Deep Learning zu verstehen, könnten darauf hindeuten, dass das Gehirn schwer zu verstehen ist, wenn es so etwas wie Gradientenabstieg auf eine Kostenfunktion anwendet.“ (https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005268,Hervorhebungen hinzugefügt)

Diese spannende Thematik zu „Wie denken Maschinen“ war für mich mit ein Grund mehr Konrad einmal um ein Interview zu den möglichen „kognitiven Prozessen auf Maschinen“ zu bitten, dem er freundlicherweise nachgekommen ist. Um ihn aber den wenigen Menschen, die ihn noch nicht kennen sollten, einmal besser vorzustellen, seien hier noch ein paar Informationen zu seiner Person erwähnt.

Konrad hatte von 1997 bis 2001 an der ETH Zürich studiert und dort sein Diplom in Physik und Computational Neuroscience abgelegt, da er nach eigenem Bekunden die Themen aus der kognitiven Neurowissenschaft eigentlich für viel spannender hielt.  Er arbeitete dann als wissenschaftlicher Mitarbeiter am Collegium Helveticum in Zürich und an dem University College London, worauf er eine Heisenberg Stelle am Massachusetts Institute of Technology MIT annahm. Danach arbeitete er an der Northwestern University und am Rehabilitation Institute of Chicago, wo er Professor für Physikalische Medizin und Rehabilitation, Physiologie und angewandte Mathematik war.

2017 wechselte er an die University of Pennsylvania, wo er eine Professur im Department of Neuroscience und im Department of Bioengineering innehat. Zusammen mit anderen Wissenschaftlern gründete er 2020 die gemeinnützige OrganisationNeuromatch„, welche sich mit der Förderung der Chancengleichheit in den Wissenschaften und die Entwicklung einer Politik der offenen Wissenschaft in Form von neurowissenschaftlichen Sommerschulen und Workshops beschäftigt. Neuromatch gehört in den USA zu den erfolgreichsten „Open-Science-“ und „Remote-Learning„-Projekten.

Informationen zur seiner wissenschaftlichen Arbeit

Sein Forschungsschwerpunkt liegt hauptsächlich auf der Verbindung von experimentellen Methoden mit der Anwendung von Berechnungsprinzipien. Als wichtigstes Prinzip seiner Arbeit steht die Idee normativer Modelle“ und insbesondere der Bayes’schen Statistik im Vordergrund. Seine experimentellen Arbeiten befassen sich hauptsächlich mit motorischem Lernen und motorischer Kontrolle, wobei er diese Phänomene mit Bayes’schen Ideen in Verbindung bringt.

In jüngster Zeit hat er sich auf Methoden zur Analyse neuronaler Daten und Methoden zur Gewinnung großer neuronaler Datensätze konzentriert, siehe „Brain Initiative„. Zu dem gleichen Zwecke hat er eine kooperative, interdisziplinäre Forschungsgruppe „Kording Lab“ aus Datenwissenschaftlern mit Interesse an Gehirnen und allgemeiner an biomedizinischer Forschung ins Leben gerufen, die sich mit den Themen „Deep Learning“ und seine Anwendungen, der Analyse neuronaler Daten, ihrer Kausalität und ihre Verbindungen zum maschinellen Lernen beschäftigt.

Die Ergebnisse seiner wissenschaftlichen Forschung beinhalten häufig Verbesserungsvorschläge für neurowissenschaftliche Methoden und Heuristiken, wie er sie z. B. in seinen ArtikelnA deep learning framework for neuroscience“ (2019) und „Machine Learning for Neural Decoding“ (2020) vor, dass man stattdessen die leistungsfähigeren Tools des „Machine Learnings“, wie z. B. die mathematische Methdode der „gradient descents“ oder „backpropagation“ nutzt.

In seinem aktuellen Artikel „The study of plasticity has always been about gradients“ (2023) verwendest er z. B. das Prinzip der „gradient descents“ um die Neuroplastizität des Gehirns bei Lernvorgängen besser zu beschreiben. Hierzu verwendet er die Methodik der Hebbian Plastizität“, um diese Vorgänge besser beschreibbar zu machen. Das Prinzip der „Bayesschen Netze“ wird hierbei  durch eine unterschiedlichen Gewichtung“ oder dem „Multiplexing“ erweitert, um ein besseres Modell zu den kognitiven Prozessen im Gehirn zu erhalten. Die im EEG auftretenden „Spikes“ könnten nämlich u. U.  außer ihrem lokalen Informationsgehaltes auch noch einen nicht-lokalen, „temporalen Code“ als „Spike Train besitzen, um die Kommunikation zwischen weiter weg liegenden Neuronenverbänden zu ermöglichen.

Insofern stellt Konrads wissenschaftliche Arbeit ein hervorragendes Beispiel für die von mir schon so oft geforderte „concept-fact iterativity“ dar, da hier in methodischer Form eine ständige „backpropagation“ der mathematischen, normativen Modelle mit neuronalen Datensätzen stattfindet und zu einer Verbesserung der Modelle führt.

Interviewfragen: „Wie denken Maschinen?“

Lieber Konrad, ich möchte Dir zunächst einmal sagen, welche große Ehre und Freude es für uns ist, dass Du Dich zu diesem Zoomposium-Interview mit uns bereit erklärt hast.

1. Zu Beginn stellen wir meistens eine nicht immer ganz ernst gemeinte Frage, um einen etwas lockeren Einstieg in die Thematik zu erhalten. Daher zunächst einmal die Frage an Dich:

Dein Forschungsschwerpunkt liegt unter anderem darauf computationale Prinzipien (Zielfunktionen, Lernregeln und Architekturen) des „Machine Learnings (ML)“ für die konkrete Anwendung in den kognitiven Neurowissenschaften fruchtbar zu machen.

  • Hättest Du, wenn Du heute morgen den kompletten Datensatz (im Sinne eines Laplaceschen Dämons 😉 unserer physiologischen, neuronalen und biochemischen Gehirnfunktionen (EEG, fMRT, PET, Neurotransmitter,…) erhalten hättest, hieraus mit Hilfe geegneter „brain decoder“ eine zutreffende Prognose berechnen können, wie sehr wir uns auf das Interview mit Dir freuen oder wie sehr dieses unseren „Jorge Hirsch’s h-index“ als erfolgreiche Wissenschaftsjournalisten verändern wird?
  • Aber vielleicht könnest Du zunächst einmal unseren Zuschauer:innen Deine Forschungsarbeit und Deine bisherigen Ergebnisse, die Du zusammen mit Deinem Team an der Pennsylvania University und in dem „Kording-Lab“ gewonnen hast, genauer erläutern.

2. In einem Deiner sehr bekannten Artikel „Could a Neuroscientist Understand a Microprocessor“ (2017) hast Du zusammen mit Eric Jonas ein Experiment entwickelt. Bei dem Experiment hast Du auf einem sehr einfachen, alten Prozessor MOS 6502 (3510 Transistoren), der z. B. im Apple I oder Commodore 64 verbaut worden ist, einmal die alten Atari-Spiele z. B. „Donkey Kong“ „Space Invaders“ laufen lassen. Hierbei wurden die dynamischen Prozesse dieses „sehr einfachen, künstlichen Organismus“ mit Hilfe neurowissenschaftlicher Methoden analysiert, um Auskunft darüber zu erhalten, was sich in seinen „Logik-Gatter-Netzwerk“ – im wahrsten Sinne des Wortes – eigentlich „abspielt“.

Ein Ergebnis war: „Ein wirkliches Verständnis selbst dieser vergleichsweise einfachen, vom Menschen geschaffenen Systeme bleibt daher schwer fassbar, und manchmal überraschen sie uns sogar mit wirklich überraschenden Eigenschaften [70]. Das Gehirn ist eindeutig viel komplizierter, und unsere Schwierigkeiten, Deep Learning zu verstehen, könnten darauf hindeuten, dass das Gehirn schwer zu verstehen ist, wenn es so etwas wie Gradientenabstieg auf eine Kostenfunktion anwendet.“ (https://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1005268)

  • Könntest Du uns vielleicht zunächst einmal das Ergebnis in Hinsicht auf das bisher vorherrschende Paradigma der Neurowissenschaften (z. B. „Big Data“, „Neuroimaging“,…) interpretieren?

3. Die Entwicklung einer „Allgemeinen Künstlichen Intelligenz“ (AKI oder Englisch AGI für „Artificial General Intelligence“) fasziniert Experten wie Laien gleichermaßen. Je nachdem ob man Techno-Skeptiker oder Utopisten fragt, bekommt man die Einschätzung, dass ihre Entwicklung nie oder schon einem Jahrzehnt möglich sein wird.

  • Wo befindest Du Dich in diesem Spektrum?

Du schlägst zur Verbesserung der neurowissenschaftlichen Methoden und Heuristiken in Deinen Artikeln (z. B. „A deep learning framework for neuroscience“ 2019, „Machine Learning for Neural Decoding“, 2020) vor, dass man stattdessen die leistungsfähigeren Tools des „Machine Learnings“, wie z. B. die mathematische Methdode der „gradient descents“ nutzt.

  • Könnest Du dieses Konzept, das auch für die „Backpropagation“ der Verbesserung des rekurrenten Lernens von „AI-Agents“ sehr wichtig ist, erläutern?
  • Inwiefern könnte diese Methoden zur Entwicklung einer AKI beitragen?

4. In einem aktuellen Artikel „The study of plasticity has always been about gradients“ (2023) verwendest Du das Prinzip der „gradient descents“ um die Neuroplastizität des Gehirns bei Lernvorgängen besser zu beschreiben.

  • Könntest Du uns bitte einmal erläutern, inwiefern dies die „Hebbian Plastizität“ besser beschreibbar macht?
  • Wie lässt sich Deiner Meinung nach das Problem der „unterschiedlichen Gewichtung“ oder dem „Multiplexing“ bei Deinem Modell lösen. Wie verwendest Du hierbei das Prinzip der „Bayesschen Netze“?
  • Könnten Spikes aus Deiner Sicht vielleicht außer ihrem lokalen Informationsgehaltes auch noch einen nicht-lokalen, „temporalen Code“ als „Spike Train“ besitzen, um die Kommunikation zwischen weiter weg liegenden Neuronenverbänden zu ermöglichen?

5. Bei der Auswertung der lokalen Feldpotentiale aufgefallen, dass die gemessenen Werte und dargestellten Kurvenverläufe des untersuchten MOS-Prozessor lustigerweise sehr große Ähnlichkeiten mit den Messungen an menschlichen Gehirnen hatte. Bei der Spektralanalyse war Euch zudem auch ein power law“-Verhalten aufgefallen, das auf eine Oszillation oder „Rhythmisierung“ in bestimmten Prozessorbereichen hinwies.

  • Ist es tatsächlich „so schwer dem Prozessor eine ‚self-organized criticality‚ zu zuschreiben?
  • Wie lässt sich dieses „power-law“-Verhalten des Prozessors überhaupt erklären, weil es doch eigentlich in einer „von Neumann-Architektur“ gar nicht vorgesehen ist?
  • Könnte man Deiner Meinung nach hieraus allgemeinere Prinzipien zur Beschreibung von kognitiven Prozessen im Gehirn ableiten?
  • Was hältst Du von Quantencomputern?

6. Ray Kurzweil sprach schon 2014 in seinem Buch „Menschheit 2.0“ von einer nahenden Singularität: Sobald die KI so intelligent sei, dass sie ihre eigene Programmierung schneller verbessern könne als Menschen, könnte dies zu einer explosionsartigen Verbesserung von KI und damit zu einer AKI oder gar einer „Superintelligenz“ führen. Was das bedeuten könnte, schrieb schon 1965 der britische Mathematiker Irving J. Good: „Die erste ultraintelligente Maschine ist die letzte Erfindung, die der Mensch je machen muss, vorausgesetzt, die Maschine ist gutmütig genug, um uns zu sagen, wie man sie unter Kontrolle behält.

  • Wie stehst Du zur Möglichkeit einer Singularität und welches Szenario für die Zeit danach hältst Du für wahrscheinlich?

Wir bedanken uns ausdrücklich bei Dir, lieber Konrad, dass Du Dir die Zeit für unser Interview genommen hast, um unsere Fragen zu beantworten.

Der Teaser zu unserem vollständige Interview ist auf unserem Youtube-Kanal „Zoomposium“ unter folgendem Link zu sehen:

https://youtu.be/HOHZSG8zRbA

© Axel Stöcker („Die großen Fragen“), Dirk Boucsein („philosophies.de“)

Ich bin immer mit meiner „Diogenes-Lampe“ unterwegs, um Menschen zu finden, die sich auch nach ein wenig „Licht der Erkenntnis“ sehnen. Also wenn Ihr eigene Beiträge oder Posts für meinen Wissenschaft-/Philosophie-Blog habt, immer her damit. Sie werden mit Eurem Namen als Autor auf meiner Seite veröffentlicht, so lange sie den oben genannten Kriterien entsprechen. Denn nur geteiltes Wissen ist vermehrtes Wissen.
0 0 votes
Article Rating
Abonnieren
Benachrichtige mich bei
guest

 

4 Comments
Inline Feedbacks
View all comments
Philipp
Philipp
27 Tage zuvor

Das war ein sehr interessantes Interview.

Ein Punkt zu der von Dirk angesprochenen „Sensitivität“ (falscher Begriff, aber ich weiß was Dirk meint) bezüglich der Auswertung der Daten.

Erstens: Die Rohdaten aus dem MRI Scanner werden zuerst vorverarbeitet (sogenanntes Preprocessing) bevor sie der Analyse von Messungen unterzogen werden. Dieses Preprocessing kann die Daten von minimal bis sehr stark verändern. Es kommt auf den Code bzw. das Script der Person an. Es gibt nicht „das eine“ bzw. ideale Preprocessing, sondern die Schritte im Preprocessing richten sich individuell je nach Ziel bzw. angestrebter Analyse. Wenn man in einer Studie beispielsweise nur eine bestimmte Messung bzw. Variable untersuchen möchte dann lässt sich das Preprocessing ideal auf diese Messung anpassen. D.h. die Daten werden möglichst ideal für die eine oder bestimmte Messung vorverarbeitet. Gibt es zwei Variablen so muss man eventuell schon Kompromisse eingehen damit das Preprocessing für beide Variablen passt. Aber es ist dann eventuell nicht mehr ideal auf eine Variable abgestimmt. Nutzt man unterschiedliche Scripts für beide Variablen, so sind die Ergebnisse eventuell nicht mehr vergleichbar.

Zweitens: auch die Messungen/Variablen/Analysen die nach dem Preprocessing folgen können z.B. Parameter aufweisen die eingestellt werden müssen. Ferner kommt es schlichtweg auf die genaue Programmierung (d.h. den Programmiercode für die Messungen) mit unzähligen Details an was am Ende als Ergebnis rauskommt.

Nun lassen sich die Ergebnisse durch beide Schritte (mit all ihren untergeordneten Teilschritten) mitunter massiv beeinflussen oder gar bewusst manipulieren. Das ist richtig. Sofern die jeweilige Person aber ausreichend Wissen besitzt um die ganzen Scripts „realistisch“ zu coden um möglichst „realistische“ Ergebnisse zu erhalten gibt es nicht das Problem dass die Ergebnisse völlig austauschbar seien. Leider wird sowas von den Medien, wenn sie über Neuroimaging berichten, manchmal so dargestellt (beispielsweie Fernsehberichte die es so falsch darstellen habe ich auch schon gesehen). Banale Dinge werden dann manchmal dramatisch und völlig überzogen dargestellt. (Nicht in eurem Interview, ich meine nur allgemein.)

Die Person muss wissen was sie tut und den Willen haben möglichst realistische Ergebnisse zu erzielen (also nicht bewusst bescheißen zu wollen). Dann sind die Ergebnisse auch kein „reines Resultat des Subjekts“.

Philipp
Philipp
26 Tage zuvor

Hallo Dirk,

zum Preprocessing: als fMRI 1991/1992 anfing gab es ein Preprocessing im heutigen Sinne noch gar nicht. Die Methoden im Preprocessing entwickeln sich stets weiter. Es gibt Leute die sich beruflich quasi nur damit beschäftigen und für die Weiterentwicklung gutes Geld verdienen – nur damit man einen Eindruck bekommt wie komplex die Thematik sein kann.

Bezüglich deines Einwands des „Gehirn an sich“:
Das klingt so wie was manche Philosophen „intrinsic nature“ der Dinge nennen. Ich glaube nicht dass es so etwas überhaupt gibt. Natürlich haben wir nur bestimmte (eingeschränkte) Beobachtungen bzw. Messungen. Mehr haben wir nicht (neben Computersimulationen). Und ja, es gibt quasi überall Limitierungen, das merke ich ja selbst ständig bei der Analyse der Daten. Aber man kann das Argument doch auch herumdrehen. Man kann sagen dass es gut ist dass wir zumindest _das_ haben. Denn ohne diese Daten sähe es noch schlechter aus, denn dann hätten wir nur noch die Philosophie. Man muss eben versuchen das bestmögliche aus dem was man hat herauszuziehen. Das kann man philosophisch kritisieren. Aber ich würde sagen dass der Anspruch (mancher) Philosophen hier ohnehin zu hoch ist. Die Kritik ist teilweise auf einer sehr abstrakten Ebene.