Gastbeitrag von Yervant Kulbashian (Engineering Manager, AI Platform): „Der grüne Schwan – Teil 2: Der logische Impuls“

Original text click here:

Einleitung

Der hier erschiene Gastbeitrag stammt von Yervant Kulbashian, den ich über Social Media kennen und schätzen gelernt habe.

Yervant arbeitet als Engineering Manager bei einer KI-Plattform für die kanadische Firma „Kindred“, die zur „Ocado-Group“ gehört. Nur zur Information:

„Kindred wurde 2014 gegründet und ist ein Unternehmen für Robotik und künstliche Intelligenz (KI), das Roboter zur Lösung von Problemen in der realen Welt entwickelt. Das Unternehmen hat es sich zur Aufgabe gemacht, das Leben menschlicher Arbeitskräfte mit der Leistung von KI-Robotern zu verbessern. Die Spitzentechnologie von Kindred bildet die Grundlage für eine Reihe von proprietären Plattformen, darunter CORE mit AutoGrasp™, die für den autonomen Betrieb von Robotern in dynamischen Umgebungen entwickelt wurden. Das Team aus Wissenschaftlern, Ingenieuren und Geschäftsleuten hat einen neuen Standard für das Reinforcement Learning von Robotern gesetzt. Das Unternehmen hat seinen Sitz in San Francisco und Toronto und gehört zur britischen Ocado Group plc.“ (https://www.apollo.io/people/Yervant/Kulbashian/54a916287468693399953e0c).

Und genau dieses Reinforcement Learning als „autonomer Betrieb von Robotern in dynamischen Umgebungen“ war der Auslöser zur einer sehr produktiven Korrespondenz zu meinem zuvor veröffentlichten Essay „Das System braucht neue Strukturen – nicht nur für/gegen die Künstliche Intelligenz (KI)„. Der Schwerpunkt unseres interessanten Austausches, den wir später auch in unserer „Zoomposium-Tafelrunde“ fortgesetzt haben, lag hauptsächlich auf dem „Subjekt-Objekt-Konzept“ für „maschinelles Bewusstsein“ und den Möglichkeiten einer symbolischen Repräsentation oder Implementation von menschlicher Sprache auf Maschinen und den hierbei auftretenden logischen Problemen.

In diesem Zusammenhang hatte Yervant bereits im September 2022 seine Artikel zur Sprach-Implementation auf Maschinen veröffentlicht, die im Zusammenhang mit ChatGPT und den Möglichkeiten zur Implementation oder Repräsentation von menschlicher Sprache allerdings eine ganz neue Perspektive und Aktualität erhalten. Die Essays zeigen aber auch sehr deutlich, dass ChatBots momentan noch nichts anderes sind als sehr kluge, „sprechende Papageien„, aber noch sehr weit von semantischen Konzepten der Sprache, geschweige denn bewussten Verwendung, entfernt sind.

Yervant hat sich freundlicherweise bereit erklärt seine 3 Artikel zu dieser Thematik auch bei mir zu veröffentlichen, die ich nun sukzessive online stelle. Um sie meiner deutschen Leserschaft zugänglich zu machen, habe ich sie ins Deutsche übersetzt. Der Originaltext ist aber unten zur Verfügung gestellt.

Dieser 2. Teil seines Gesamt-Essays beschäftigt hauptsächlich mit den Fragen, was #Logik eigentlich ist, wie sie sprachgeleitet zustande kommt, wie Kinder sie erlernen und welche Fehler sie hierbei machen. Also alles Fragen, die man sich auch bei der Entwicklung von sprachgestützter Logik auf Maschinen stellen muss.

Der Originaltext steht aber auf meiner Seite unten zur Verfügung.

Zu dem weiterführenden Thema „AC/DC“ (nur als bonmot gemeint 😉 oder „Artificial Consciousness/Digital Consciousness„ sind allerdings noch weitere Projekte geplant, auf die ich hier schon einmal prospektiv hinweisen möchte. Aber jetzt soll Yervant oder besser gesagt „die KI zur Sprache kommen“:

Übersetzung: „Der grüne Schwan – Teil 2: Der logische Impuls“

Lesen Sie Teil 1 der Serie.

Es gibt viele Menschen, die überaus klar und richtig denken, aber nicht wissen, wie man einen Syllogismus aufstellt … Ein Mensch weiß zuerst, und dann ist er in der Lage, syllogistisch zu beweisen. – Essay über den menschlichen Verstand, Kap. 17, John Locke

Wenn Sie einmal Ihren eigenen Gedankenstrom beobachten, werden Sie vielleicht eine Reihe von unbewussten Kräften feststellen, die Ihre Gedanken in verschiedene Richtungen ziehen. Sie könnten aus diesen Kräften einen „logischen Impuls“ isolieren, d. h. eine Neigung, logisch richtige Aussagen zu akzeptieren und unlogische abzulehnen. Dieser Impuls taucht gelegentlich als Selbstkorrekturmechanismus auf und lenkt für ein kurzes Zeitfenster Ihr Denken. Was auch immer sein Ursprung ist, es ist klar, dass dieser Impuls ein notwendiger Bestandteil sowohl der informellen als auch der formalen Logik ist.

Auf den ersten Blick könnte man annehmen, dass ein solcher Impuls von Natur aus in den Verstand eingebaut und von Geburt an vorhanden ist. In diesem Beitrag werde ich jedoch argumentieren, dass die Neigung, logisch zu sein, ein konditionierter sozialer Reflex ist, der in der Kindheit erworben wird. Um zu verstehen, wie dieser Reflex entsteht, müssen wir auf die frühesten Tage der Sprachentwicklung zurückblicken und auf den Moment, in dem Sie Ihre ersten Fehler gemacht haben.

Die ersten Fehler eines Kindes

Als Kind, das zum ersten Mal sprechen lernte, hatten wir beide die Freiheit, jeden Gedanken auszudrücken, der uns gefiel: real, imaginär, erstrebenswert, was auch immer. Du hast gelernt, deine Bedürfnisse und Gedanken mit Worten zu verbinden, und es war dir egal, ob sie stimmig waren. „Papa ist groß!“, dachtest du vielleicht aus einer Laune heraus und sagtest es ohne zu zögern. Da dies deine ersten Äußerungen waren, wurde alles, was du sagtest, mit einem Lächeln oder sogar mit Applaus begrüßt. Eine Zeit lang war alles gut.

Irgendwann äußerten Sie eine flüchtige Laune, von der Sie hofften, dass sie positiv aufgenommen werden würde: „Papa ist größer als der Hulk!“ Aber anstatt es zu akzeptieren, wurde Ihr Publikum hart und skeptisch. „Wie meinst du das?“, fragte ein älteres Geschwisterkind, „Papa ist nicht drei Meter groß“. Das war unerwartet, denn normalerweise waren die Leute so entgegenkommend oder zumindest aufmerksam. Plötzlich stand man vor einem neuen Problem: Man musste die Leute dazu bringen, mit dem, was man sagte, zufrieden zu sein.

Damals wie heute sprach man nur, weil man etwas bewirken wollte. Das fiel in der Regel in eine der drei Gruppen: die Leute dazu bringen, sich auf eine bestimmte Art und Weise zu verhalten, die Leute dazu bringen, auf eine bestimmte Art und Weise zu denken, oder die Leute zu unterhalten, damit sie einen besseren Eindruck von dir haben.¹

Als also die Widerlegungen, skeptischen Fragen und Gegenargumente immer häufiger und aggressiver kamen, taten sie weh, denn sie bedeuteten, dass man nicht zugehört wurde, dass man nicht geglaubt wurde, vielleicht wurde man sogar verspottet. Nach einer Reihe von erschütternden Erfahrungen wurden Sie in Ihrer Rede immer gehemmter. Jedes Mal, wenn Sie etwas sagen wollten, durchzuckte Sie ein Anflug von Angst. Das könnte böse enden.

In deiner kindlichen Fantasie kam es dir wirklich so vor, als sei Papa größer als der Hulk; deshalb hast du es gesagt. Du hattest nicht die Absicht, unvernünftig zu sein. Du hattest einfach keinen Grund, bei deinen Behauptungen genau zu sein. Und warum sollten Sie auch? Ihre Aussage hätte auch als Übertreibung interpretiert werden können, dann hätte sie keine Gegenreaktion hervorgerufen. Der Unterschied zwischen frei formulierten, unlogischen Behauptungen – wie Übertreibungen – und solchen, die von der Gesellschaft präziser formuliert werden müssen, hängt einzig und allein davon ab, ob Sie von anderen zurückgewiesen werden oder nicht.

Als andere also begannen, Ihre Worte in Frage zu stellen, säten sie den ersten Samen dessen, was schließlich zu Ihrer „Objektivität“ werden würde. Der anfängliche Anreiz für rationales Denken hatte nun Wurzeln geschlagen und würde so lange bestehen bleiben, wie Sie sich noch sozialisieren wollten – vermutlich Ihr ganzes Leben lang.

Verinnerlichung

[Logische] Normen regeln unsere rationalen Interaktionen mit unseren Mitmenschen. Man könnte zum Beispiel annehmen, dass sie die Erlaubnisse und Verpflichtungen für bestimmte Arten von Dialogen kodifizieren. Aus dieser Perspektive ist der normative Einfluss der Logik auf die innerpersönliche Aktivität des Denkens lediglich eine Ableitung, die durch einen Prozess der Verinnerlichung zustande kommt. – Der normative Status der Logik, Stanford Encyclopedia of Philosophy

Bald wurden solche Vorfälle zur Norm. Sie versuchten Ihr Bestes, um sie zu vermeiden. Zu diesem Zweck begannen Sie, die Gegenargumente anderer zu verinnerlichen. Bevor Sie Ihre Argumente vortrugen, erinnerten Sie sich an die Art von Gegenargumenten, auf die Ihre Worte stoßen könnten, und stellten sie sich vor. Ihr Ziel war es, sich darauf vorzubereiten, indem Sie in Gedanken probten, wie Sie sie ausmanövrieren und das Schlimmste vermeiden könnten.

Dies äußerte sich in einer rudimentären Art der Planung. Sie stellten sich die verletzenden Widerlegungen vor (durchlebten sie noch einmal), und dann entwickelte Ihr Verstand Optionen und Pläne, die Sie vorhersagten, um ihren Fallen zu entgehen. Diese Lösungen haben Sie sich angeeignet, indem Sie beobachtet haben, wie andere ähnliche Situationen gemeistert haben, und deren Worte nachgeplappert haben.

Dieses Nachplappern kann man wohl kaum als „Logik“ bezeichnen, sondern eher als vorsichtige Umsicht und soziale Konformität. Das ist derselbe Prozess, wie wenn Erwachsene sich entscheiden, nicht zu verraten, dass ihnen ein ansonsten unbeliebter Film gefallen hat; oder einfacher gesagt, wie wenn man einem Kind das richtige Wort für einen bestimmten Gegenstand oder eine bestimmte Situation beibringt und es korrigiert, wenn es sich nicht an den Sprachgebrauch hält. Als Kind war eine solche Konformität in der Tat Ihr einziger Modus Operandi, da Sie nicht aufmerksam genug waren, um tiefer über das, was Sie sagen wollten, nachzudenken.

Die gesamte frühe Erziehung in informeller Logik geschieht durch die Korrektur und Nachahmung ausdrücklicher Aussagen, und sei es nur, weil es keine andere Möglichkeit gibt, ein Kind zu unterrichten. Ihr unreifer Geist war damals ausschließlich mit Gedanken darüber beschäftigt, was Sie wollten und was Ihnen missfiel. Sie vermischten leicht Fantasie und Realität, d. h. das, was Sie für wahr hielten, und das, was tatsächlich wahr war. Durch soziales Training erwarben Sie allmählich einen neuen Reflex, ein Zögern, einen Impuls, Dinge zu durchdenken, bevor Sie sprechen.

Als Sie ein Teenager waren, war die Forderung der Gesellschaft, dass Sie auf eine bestimmte Art und Weise sprechen sollten, fest verankert, verinnerlicht und begründet. Das ging so weit, dass man nicht einmal mehr vor einem Publikum stehen musste, um sich gezwungen zu fühlen, sich an solche Regeln zu halten. In einer besonders invasiven Wendung begann Ihr Verstand, Ihre persönlichen und privaten Gedanken neu zu ordnen, um einer nun allgegenwärtigen Angst zu begegnen, nämlich der, widerlegt zu werden². Sogar in einsamen Momenten, wenn Sie einen Gedanken in Worte fassten und eine mögliche Widerlegung voraussahen, löste Ihr Verstand seine gewohnten Spannungen aus und ließ nicht locker, bis sie gelöst waren. Sie wurden zu Ihrer eigenen Gedankenpolizei.

Von diesem Zeitpunkt an bestand die Entwicklung des rationalen Denkens in der Entwicklung und schließlich in der Verfeinerung einer Vielzahl solcher Reaktionen.

Nach ihren Regeln spielen

Wenn ich sage, dass ein Freund von mir „nett“ ist, und später behaupte, dass er mich ärgert, wird das nicht als Widerspruch angesehen; Menschen ändern sich. Wenn ich sagen würde, dass ein Tier ein Pflanzenfresser ist, und dann behaupten würde, dass es ein Zebra gefressen hat, würde man mir bestimmt widersprechen. Aber als Kind würdest du diese beiden Beispiele zunächst nicht unterscheiden. Genauso würdest du nicht automatisch denken, dass ein besprühter Schwan kein gültiges Gegenbeispiel zu „alle Schwäne sind weiß“ ist. Schließlich sind auch Stoppschilder rot gespritzt, und jeder scheint zu sagen, dass sie tatsächlich rot sind.

Auch die Worte im Prädikat selbst können nicht zur Unterscheidung beitragen. Der grüne Schwan ist in der Tat ein „grüner Schwan“. Sie müssen den Interpretationsspielraum hinter jedem Prädikat kennen lernen. Um diese beiden Fälle zu unterscheiden, hätte dich ein Erwachsener korrigieren müssen, wenn du z. B. eine besprühte Schwanenstatue gesehen hast und sie für eine Darstellung des echten Schwans gehalten hast. Er hätte es vielleicht als „Trick“ oder „Fantasie“ bezeichnet – als etwas, das in Ihrem unreifen Gehirn emotionalen Anklang findet. Nur durch eine emotionale Wirkung – z. B. auf Ihr Bedürfnis nach Anerkennung – konnte er sich über den Lärm erheben und eine kognitive Veränderung bewirken.⁴

Indem man Einwände und Bedenken vorbrachte, wurde man regelmäßig darin unterrichtet, wie man über verschiedene Themen zu denken hat, und vor allem, wie man diejenigen abgrenzt, bei denen eine größere Genauigkeit erforderlich ist. So verlangten Ihre Mitschüler beispielsweise ein hohes Maß an Strenge bei mathematischen Beweisen, waren aber nachlässig, wenn es um müßige Spitzfindigkeiten ging. Poesie und Humor lebten von Widersprüchen. Als Reaktion darauf haben Sie sich ein Repertoire an kontextspezifischen Antworten zugelegt. Und das waren alles neue Informationen für dich; sie konnten nicht von dem, was du bereits wusstest, abgeleitet werden.

Denken Sie daran, dass „unlogisch“ zu sein nur dann ein Verstoß ist, wenn es einen ausdrücklich vereinbarten Formalismus gibt, der überschritten werden muss. In Fällen, in denen dies nicht zutrifft – z. B. bei der Formulierung „Gib 110 %! – Eine Behauptung als „unlogisch“ zu bezeichnen, lässt den Sprecher roboterhaft und unmenschlich erscheinen. In jedem Fall würde es Ihre Popularität stark einschränken.

Aus diesem Grund wird Logik immer als „optional“ betrachtet. Ob und wie man sie anwendet, hängt davon ab, ob man angesichts der spezifischen Worte und des Kontexts sozialem Druck ausgesetzt ist – und auch davon, ob man diesem Druck nachgeben will.

Wenn Sie nicht befürchten müssen, herausgefordert zu werden, ist Ihr Standardmodus, frei und ungehemmt zu denken. Ohne jeglichen korrigierenden sozialen Druck kann Ihr Verstand bequem jede Art von Widerspruch ohne Zögern akzeptieren, wie Sie an der Redewendung „weniger ist mehr“ gesehen haben. Sie müssen nur so viel Sorgfalt oder Präzision aufwenden, wie es Ihnen möglich ist – manchmal auch gar keine.

Um bei der Anwendung von Logik lernfähig zu sein, muss eine künstliche Intelligenz lernen dürfen, ob und warum eine bestimmte Art von „Logik“ überhaupt angewendet werden sollte, und diese Wahl auf der Grundlage von Kontext und Absichten treffen. Andernfalls würde sie zwangsläufig nicht korrekt verallgemeinern, indem sie eine Regel auf eine Situation ausweitet, in der sie nicht anwendbar ist.

Neuer Druck führt zu neuen Reaktionen

Um zu sehen, wie das korrigierende Verhalten der Gesellschaft zu informeller Logik bei Kindern führen kann, lassen Sie uns auf das Problem des grünen Schwans aus dem ersten Beitrag zurückblicken und sehen, wie Sie als Kind zunächst das Prädikat „alle Schwäne sind weiß“ gelernt hätten. Genauer gesagt, schauen wir uns an, was Sie dazu veranlasst hat, den Quantifizierer „alle“ zu lernen und der Behauptung hinzuzufügen.

Als Voraussetzung dafür sollten Sie bereits das Wort „Schwan“ mit einer Reihe von visuellen Erfahrungen verbinden, Namen von Farben mit verschiedenen Sehenswürdigkeiten verknüpfen und den Konnektor „ist“ verwenden. In all diesen Fällen bestand Ihr einziges Lernmotiv darin, Ihre erwartungsvollen Eltern und Lehrer zu beeindrucken und deren anerkennendes Lächeln zu erhalten. Sie repräsentierten in einem Mikrokosmos den allgemeinen sozialen Druck, seine Gedanken in der Sprache auszudrücken, die die Gesellschaft verlangt.

Irgendwann sahen Sie einen grünen Schwan. Da du naiv warst, dachtest du dir: „Der Schwan ist grün“. Als Sie später von einem Erwachsenen gefragt wurden, welche Farbe Schwäne haben, wurden beide Farbgedächtnisse wachgerufen, und Sie haben sie beide ausgesprochen.

Sie wurden korrigiert. Sie sahen kein zustimmendes Lächeln, sondern nur traurige oder verwirrte Stirnrunzeln. Das hat sich nicht gut angefühlt. Du wusstest nicht, warum das geschah, und hast auch nicht versucht, es zu verstehen. In diesem Alter hatten Sie noch keine übergeordneten Konzepte; Sie wussten nur, dass es richtige und falsche Wörter gab. Du brauchtest ein paar andere Wörter, um bei den Leuten gut dazustehen⁶. Der betreffende Erwachsene wiederholte für dich die richtige Antwort: „Schwäne sind weiß“, und du prägtest sie dir ein.

Später erwähnte eine gleichaltrige Freundin, dass sie einen (vermutlich fiktiven) blauen Schwan gesehen habe. Sie erinnerten sich an Ihre eigene Erfahrung, als Sie so etwas sagten, und entweder um Ihre unterschwellige Angst zu beruhigen oder um Ihre Freundin vor Peinlichkeiten zu bewahren, sprachen Sie die richtige Antwort aus, nämlich: „Schwäne sind weiß“. In Nachahmung Ihrer Lehrerin vermittelten Ihr Gesicht und Ihre Körpersprache, dass sie ihre Worte in die richtigen ändern sollte. Du wusstest noch nicht, warum genau ein blauer Schwan „falsch“ war. Dein Wissen über Biologie war spärlich. Du konntest ihr keine Gründe nennen, und selbst wenn du es könntest, würde sie es nicht verstehen.

Ihre Freundin wehrte sich nun. Sie war überzeugt, einen blauen Schwan gesehen zu haben, und Sie hatten ihr keinen Grund gegeben, die Beweise ihrer Augen zu widerlegen. Vielleicht war dieser blaue Schwan etwas „Besonderes“?

Aber aus Ihrer Sicht wollten Sie ihr irgendwie mitteilen, dass es keine Ausnahmen gibt, dass sie sich geirrt hat. Zu diesem Zweck fand das Wort „alle“ seine Verwendung. Wie bei jedem Wort, das du bisher gelernt hast, hast du es durch Nachahmung aus einer ähnlichen Situation aufgeschnappt – sei es in einem Buch, in der Schule oder im Gespräch mit Erwachsenen – und es schien zu funktionieren. Du mochtest das Wort, weil es deine Behauptung unterstrich. Also wiederholten Sie es: „Alle Schwäne sind weiß“.

Du wusstest noch nicht, dass das Wort „alle“ ein universeller Quantifizierer war und welche Folgen die Behauptung „alle Schwäne sind weiß“ hatte. Für Sie ist es nur ein Wort, mit dem Sie Ihren Freund abwimmeln. Eine andere Formulierung, wie „falsch! Schwäne sind weiß“ wäre ebenso nützlich gewesen und für Sie nicht von „alle Schwäne sind weiß“ zu unterscheiden. Dem Wort „alle“ fehlte die bewusste Bedeutungstiefe, die Sie ihm später zuschreiben würden, eine Tiefe, die Sie durch weitere Gespräche und Korrekturen herausfinden würden.

Die Entwicklung dieses einzelnen Prädikats ist weitaus umfangreicher, als es in einem Beitrag möglich wäre. Jedes Wort und jede grammatikalische Konstruktion in Ihrem Lexikon hat eine lange Geschichte von Assoziationen und auslösenden Hinweisen. Sie alle beruhen jedoch auf und durch soziale Motive – um zu beeindrucken, um Anerkennung zu gewinnen. Auch abstrakte Wörter wie „alle“ haben ihre Wurzeln in Motiven; in diesem Fall bestand das Motiv darin, Fälle zu widerlegen, die fälschlicherweise als Ausnahmen bezeichnet wurden, wie der blaue Schwan.

Die Wurzeln der logischen Prinzipien

Dennoch ist es schwierig, eine solche frühe Ausbildung als „Logik“ zu bezeichnen, da es hauptsächlich darum ging, die richtigen Worte nachzuplappern. Jeder Fall war ein Spezialfall, eine kontextspezifische Antwort. Es war wie das Erlernen einer unregelmäßigen Grammatik⁷, oder wie man ein gesellschaftliches Tabu vermeidet. Und so wie man lernte, nicht „ich habe gegessen“, sondern „ich habe gegessen“ zu sagen, musste man jede Änderung auswendig lernen. Das einzige Problem, das es zu lösen galt, war die Vermeidung von Peinlichkeiten, von Ablehnung, von Zurückweisung durch Lehrer und Mitschüler. Soziale Motive – selbst infantile – trieben Sie dazu, neue Ausdrücke zu lernen und alte zu nuancieren.

Dennoch ist es wichtig, sich der Logik von dieser Seite zu nähern. Nur so kann das im ersten Beitrag beschriebene Problem angegangen werden, nämlich wie Logik effektiv angewendet werden kann, ohne den Kontext aus den Augen zu verlieren. Um Prädikate richtig zu verstehen, muss man sich immer mit den sozialen Motiven befassen, die hinter ihnen stehen. Dies verleiht ihnen Flexibilität und ermöglicht es Ihnen, sie produktiv an neue Situationen anzupassen. Ich betone dieses Wort, denn um produktiv zu sein, müssen Sie ein Ziel vor Augen haben, auf das hin Ihr Verhalten als produktiv angesehen wird.

Sie können bereits sehen, wie die Nuancen der einzelnen logischen Prädikate und Operationen in diese frühe Ausbildung einfließen. Die reife, formale oder abstrakte Logik erwächst aus diesen frühen Interaktionen als eine selbstreflexive Ausarbeitung Ihrer eigenen Gedanken. Die Verfolgung der Entwicklung bei Kindern ist ein Wegweiser dafür, wie logische Konzepte bei Erwachsenen funktionieren.

Der Begriff der Konsistenz zum Beispiel entstand ursprünglich aus einer bestimmten sozialen Spannung. Andere haben Sie auf Ihre Behauptung angesprochen, aber auf eine besondere Art und Weise: Sie haben Ihre Behauptung zurückgewiesen, indem sie sich auf eine frühere Aussage beriefen, die Sie selbst gemacht hatten8. Sie betonten, dass beides aufgrund der erlebten Zwänge der Realität nicht nebeneinander bestehen kann; eine Art Zurückweisung durch Ehrerbietung gegenüber der Autorität des Universums selbst.

Die Idee des Vertrauens – der Wahrscheinlichkeit – einer Behauptung entstand, als Sie eine weitreichende Aussage machten und jemand die begrenzte Reichweite Ihrer Erfahrungen in Frage stellte. „Sind Sie sicher“, fragte sie, „dass alle Schwäne weiß sind?“ Um der Peinlichkeit zu entgehen, von einem unsympathischen Kollegen eines Besseren belehrt zu werden, lernten Sie, Ausweichwörter („einige“, „vielleicht“) hinzuzufügen. Später haben Sie sich vielleicht neben dem Rechnen mit diesem zukunftsträchtigen Motiv auseinandergesetzt und daraus Ihr Verständnis von Wahrscheinlichkeit entwickelt.

Das Gleiche gilt nicht nur für logische Operationen, sondern auch für den Inhalt von Prädikaten. Aus diesem Grund konnte die KI im ersten Beitrag die Farbe des Schwans nicht richtig verallgemeinern. Ihr fehlte die Fähigkeit, das Motiv zu erfassen, das der Definition von „Tierfarben“ zugrunde liegt. Wenn man die Farbe eines Tieres definiert, geht es eigentlich um eine versteckte soziale Frage:

Welche Farbe soll ich den Leuten sagen, wenn sie das nächste Mal ein Tier in freier Wildbahn oder in einem Buch sehen?

Oder anders ausgedrückt:

Welche Farbe wird dieses Tier nach Ansicht der Autoritätspersonen haben?

Dies sind Probleme der menschlichen Interaktion, der persönlichen Glaubwürdigkeit, um nicht wie ein Narr dazustehen. Es geht nicht darum, in welcher RGB-Farbe das Tier in jedem Bild eines Datensatzes erscheint – letzteres ist die Frage, wie die KI die Frage interpretiert hat. Sie wollen sachkundig und hilfreich für andere erscheinen.

So gesehen scheint es offensichtlich, dass das Besprühen eines Schwans, seine chemische Veränderung, das Tragen einer getönten Brille und die Verwendung von violettem Licht irrelevant sind, da sie in der freien Natur wahrscheinlich nicht vorkommen und von den Wissenschaftlern ignoriert werden würden. Wäre die künstliche Intelligenz auf diese zugrunde liegenden sozialen Motive eingestellt, hätte sie solche Unterscheidungen schnell erkennen und alle Ablenkungsmanöver ignorieren können.

Motivierte Vernunft

Jeder Akt des Denkens und Verstehens, von Konzepten bis hin zu logischen Operationen, ist motiviert9. Und obwohl man sagen kann, dass logische A.I.s (wie Prolog) zielorientiert sind, zielt diese Serie darauf ab, diesen Aspekt der Logik in einen breiteren und integrierteren Rahmen zu stellen; das heißt, die informelle Logik als eine Reihe von pragmatischen Überlegungen darzustellen, die dazu dienen, unmittelbare soziale Spannungen zu lösen.

Um zu sehen, was ich meine, wollen wir alle Fäden, die wir bisher besprochen haben, zusammenziehen und sehen, wie Sie als Kind versuchen könnten, die Anwesenheit des besprühten grünen Schwans in Einklang zu bringen. Dieser Abschnitt stellt eine verkürzte Abfolge von Gedanken dar. Das Wichtigste dabei ist, dass jeder einzelne von ihnen von einem zugrunde liegenden sozialen Motiv angetrieben und bewertet wird.

Die erste Herausforderung, der Sie begegnen, ist die, einen Lehrer zu beeindrucken, der Sie über die Farbe von Schwänen befragt hat. Sie stellen sich einen Schwan vor und erfüllen schnell die Erwartungen Ihres Lehrers, indem Sie eine gelernte Bezeichnung wiederholen: „weiß“.

Einige Zeit später sehen Sie einen grünen Schwan, der aufgesprüht wurde. Sie sind stolz darauf, dass Sie seine Farbe als „grün“ identifizieren können, und denken dies laut. Aber jetzt „widersprechen“ sich Ihre beiden Aussagen. Wenn du sagst, dass es eine Farbe ist, obwohl du denkst, dass es eine andere ist, hast du dir schon einmal den Vorwurf der Lüge oder der Unwissenheit eingehandelt. Sie sind besorgt, dass Sie so auf andere wirken, aber Sie haben noch keine Möglichkeit, Ihre Gedanken in Einklang zu bringen – das ist das Problem der Inkonsistenz.

Wenn du eines Tages jemandem erzählst, dass der gemalte Schwan „grün“ ist, wird dir gesagt, dass du dich geirrt hast. Ein Erwachsener klärt Sie darüber auf, dass das Besprühen eines Schwans nicht seine wahre Farbe angibt. Ihr Irrtum ist Ihnen peinlich. Zum Glück stellt dieselbe Person Ihr Vertrauen wieder her, indem sie Ihnen die Lösung verrät: Die wahre Farbe des Schwans ist seine ursprüngliche Farbe, nämlich weiß. Wenn das Problem der Ungereimtheit wieder auftaucht – in Gedanken oder in einem konkreten Gespräch – können Sie es lösen: „Der grüne Schwan ist in Wirklichkeit weiß“.

Ihr Verstand folgt diesem Ablauf vielleicht nicht genau, und viele Zwischenschritte wurden der Kürze halber weggelassen. Der springende Punkt ist, dass jeder der oben genannten Gedanken eine Reaktion auf ein soziales Problem ist, das sich in der Regel um das dreht, was Sie sagen oder zu sagen gedenken. Zugegeben, viele der oben genannten Ausdrücke könnten auch formeller formuliert werden, z. B.

Besprühte Schwäne sind nicht ihre wahre Farbe

Dieser Schwan ist besprüht

usw…

aber so denken Kinder im Allgemeinen nicht. Vielmehr reagiert ihr Verstand nur auf die Besonderheiten des jeweiligen Problems, wie es ihnen durch den Diskurs eingeprägt wurde. Ihre gesamte frühe Erfahrung mit informeller Logik ist ein Geflecht aus kleinen Problemen und Lösungen, mit nur wenigen Abstraktionen oder verallgemeinerten Regeln. Jede Logik, die es gibt, ist nur die, die in Ihrem Verhalten impliziert ist.

Rationalität erwächst aus Irrationalität

Die meisten von uns sind, zumindest implizit, logische Realisten¹⁰. Wir sind davon überzeugt, dass die Logik eine gewisse Realität hat, entweder in unserem Geist, in der Welt oder in beiden. Deshalb mag Ihnen dieser Beitrag seltsam vorgekommen sein. Wenn Sie in Ihren eigenen Geist schauen, werden Sie viele Fälle beobachten, in denen die logische Notwendigkeit Ihre Gedankengänge unaufhaltsam von einem zum anderen führt. Es muss eine geistige Kraft oder Tendenz geben, würden Sie sagen, die Sie dazu drängt, vernünftige logische Schlussfolgerungen anzunehmen und unlogische zu verwerfen.

Und in der Tat: Es sind Ihre sozialen Motive, Ihr Wunsch, nicht in Verlegenheit gebracht zu werden, respektiert zu werden, gehört zu werden. Dies ist die geheime Quelle jener geistigen Kraft, die Ihre Sprache und Ihre Gedanken zu korrigieren versucht. Die informelle Logik hat sich so sehr in Ihr Denken eingegraben, dass sie intuitiv und unvermeidlich erscheint… aber nur in bestimmten Fällen. Und genau das ist der Punkt: Die einzige Möglichkeit zu erklären, warum wir die Logik oft so eklatant missachten, wie es sozial angemessen ist, ist die Annahme, dass sie kontextuell erworben und sozial angepasst ist.

Damit eine künstliche Intelligenz ihre Verwendung von Logik angemessen begründen und gleichzeitig die üblichen Abweichungen von der Logik (wie Rationalisierung und Wunschdenken) berücksichtigen kann, muss sie die Anwendung von Logik zu einer sozial motivierten Entscheidung machen. Eine KI, der entweder die sozialen Motive oder die regelmäßigen Interaktionen fehlten, die sie darüber informierten, welche Ausdrücke problematisch sind, hätte einen ernsthaften, vielleicht unüberwindbaren Nachteil.

Ich habe das Wort „problematisch“ und nicht „widersprüchlich“ verwendet. Bislang haben wir in dieser Reihe die frühkindliche Entwicklung erörtert, bei der die Probleme von Fall zu Fall hervorgehoben werden. Das übergeordnete Konzept des „Widerspruchs“ erwirbt man erst, wenn man genügend negative Erfahrungen gemacht hat, um sie mit anderen Menschen zu erkunden und zu benennen. Letztendlich können Sie mit Selbstbeobachtung und etwas Hilfe von außen Regeln der formalen Logik entdecken – oder wiederentdecken. Dies wird im letzten Beitrag der Serie behandelt.

Abgeschlossen in Teil 3.

¹ Beachten Sie, dass „weil es die Wahrheit ist“ nicht als Grund für das Sprechen aufgeführt ist. Niemand sagt jemals etwas, nur weil es wahr ist. Jeder, der das täte, würde am Ende einen endlosen Strom von Überzeugungen aussprechen, ohne innezuhalten.

² Das sollte nicht überraschen, denn jeder sprachliche Gedanke ist eine implizite Absicht zu sprechen, unabhängig davon, ob er tatsächlich ausgesprochen wird oder nicht.

³ Ich sage „würde nicht“, statt „könnte nicht“, da Sie keinen Grund haben, dies auch nur zu versuchen, bis es zu einem Problem wurde.

⁴ Alle aktuellen logischen KI werden durch einen speziellen Befehl ihres Ausbilders oder der Architektur veranlasst, eine Frage zu beantworten. Eine Frage beantwortende KI wird beispielsweise veranlasst, eine bestimmte Frage zu beantworten, wenn der Benutzer auf „Absenden“ drückt, und sie kann sich nicht weigern, dies zu tun. Menschen verfügen nicht über eine solche Schnittstelle. Sie können sich dafür entscheiden, eine Anfrage zu ignorieren oder sie sogar nicht als Anfrage zu erkennen. Dies ist ein entscheidendes Detail, das in der logischen KI meist übersehen wird, und es stellt sich die Frage: Warum reagieren Menschen überhaupt? Sie müssen einen Grund für die Entscheidung haben, ein bestimmtes Problem zu lösen. Und da dieser Grund in gewisser Weise auf den gesprochenen Worten selbst beruht, muss er erlernt werden.

⁵ Sie haben vielleicht geahnt, dass die hier diskutierte Methode zu sehr spezifischen Reaktionen führen würde, die sich jeweils auf eine bestimmte Gruppe von Wörtern und nicht auf ein allgemeines Konzept beziehen. Das macht sie kontextspezifisch. Für die „Größe“ einer Person können beispielsweise andere Regeln gelten als für ihre „Breite“, obwohl es sich bei beiden um morphologische Maße handelt. Fehler bei letzterem würden vielleicht eher als Beleidigung denn als Ungenauigkeit angesehen werden. Hinter jeder Idee und jedem Konzept steht eine reiche Geschichte sozialer Erfahrungen, eine Geschichte, die mit zunehmendem Alter meist in Vergessenheit gerät. Das bedeutet nicht, dass jeder Satz von Reizen eine direkt damit verbundene Reaktion erhalten muss. Gedanken ermöglichen eine implizite Verallgemeinerung, indem sie von einem Reiz ausgehend einen anderen auslösen, an den man sich erinnert oder den man erfindet. Darüber hinaus müssen Sie nicht jede Lektion selbst erleben. Es ist ein angemessener Ersatz, wenn man sieht oder liest, wie andere Fehler machen. In diesem Fall kommt es darauf an, wie die betreffenden Personen auf die Worte reagieren, und Ihr Einfühlungsvermögen erledigt den Rest.

⁶ Das Bedürfnis, die eigenen Worte innerhalb der von anderen vorgegebenen Grenzen zu halten, besteht bis ins Erwachsenenalter. Eine nuanciertere Version davon treibt mich an, diesen Blogbeitrag zu schreiben; sie hält mich ehrlich und gründlich.

⁷ Die Logik ist der Grammatik insofern ähnlich, als es sich bei beiden um gesellschaftlich auferlegte Beschränkungen für ausdrückliche Aussagen handelt. Einige Jahrzehnte lang, im letzten Jahrhundert, galt die Grammatik unter der Theorie der „Universellen Grammatik“ als ein grundlegendes Denkmuster. Heutzutage ist diese Theorie diskreditiert. Ein ähnlicher Fehler wird meines Erachtens auch bei der Logik gemacht.

⁸ Dies mag den offensichtlichen Einwand hervorrufen: Müsste der Verstand nicht wissen, dass es sich bei den beiden Aussagen um Gegensätze handelt, was voraussetzt, dass er über eine eingebaute Negationsfunktion verfügt, d. h. ein logisches „NICHT“? Wie bisher deutlich geworden sein dürfte, wird davon ausgegangen, dass die Negation im Sinne von „Problem“ in den Verstand eingebaut ist. Um jedoch zwischen einem logischen Widerspruch und einer einfachen Ablehnung aus einem anderen Grund zu unterscheiden, müssen Sie angeben, dass diese bestimmte Gruppe von Aussagen ein Paar von „Gegensätzen“ enthält; zwei Dinge, die nicht nebeneinander bestehen können. Und wie Hume in Treatise of Human Nature (Teil 1, Abschnitt 5, 7) Es ist unmöglich, a priori zu bestimmen, ob zwei Dinge Gegensätze sind – eine solche Beziehung muss immer durch Erfahrung erlernt werden. Der „Widerspruch“ ist also eine Art der Ablehnung, die man aber aufgrund der Zwänge der Realität selbst nicht überwinden kann.

⁹ Hier wird „motiviert“ mit „automatisch“ kontrastiert.

¹⁰ In gewissem Sinne ist die Perspektive des logischen Realismus richtig. Da die Symbole der Kommunikation nur in einem sozialen Kontext existieren, ist zu erwarten, dass die Regeln, die man auf sie anwendet, ebenfalls sozial bestimmt sind. Und so wie Entscheidungen über die Grammatik immer in einem zwischenmenschlichen Kontext getroffen werden, darf die Gesellschaft auch entscheiden, wie Wortlaute logisch angeordnet werden. „Objektivität“ ist in dieser Theorie eine durch und durch soziale Erfindung. Der einzige Fehler wäre also, anzunehmen, dass menschliche Gehirne grundsätzlich (bis hin zu den Neuronen) mit demselben objektiven Konstrukt der Welt zu tun haben, und deshalb sollte dies auch für die KI gelten.

The Green Swan: Part 2

The Logical Impulse

Read part 1 of the series.

There are many men that reason exceeding clear and rightly, who know not how to make a syllogism…A man knows first and then he is able to prove syllogistically. — Essay Concerning Human Understanding, Ch 17, John Locke

If ever you find yourself observing your own stream of thinking, you may notice a number of subconscious forces pulling your thoughts in various directions. You might isolate a “logical impulse” from within these forces—that is, an inclination to accept logically correct statements and reject illogical ones. This impulse occasionally shows up as a self-correcting mechanism, and for a brief window it directs your thinking. Whatever it’s origin, it’s clear that this impulse is a necessary ingredient for both informal and formal logic.

You might initially guess that such an impulse is built into your mind by nature, and is available from birth. In this post however, I’ll argue that the inclination to be logical is a conditioned social reflex, one that’s acquired in childhood. To understand how it first arises, we have to look back at your earliest days of language development, and to the moment when you made your first mistakes.

A Child’s First Errors

As a child first learning to speak, you and I felt free to express any thought you liked; real, imagined, aspirational, whatever. You learned to attach words to your needs and thoughts, and didn’t care much about being consistent. “Daddy is tall!” you might think on a whim, then say so without hesitation. As these were your first utterances, anything you said was greeted with smiles, even applause. Things were good for a while.

At some point you expressed a passing whim that you hoped would be positively received — “Daddy is taller than the Hulk!” But instead of accepting it, your audience became hardened, skeptical. “What do you mean?” asked an older sibling, “Daddy isn’t 10 feet tall”. This was unexpected; people were usually so accommodating, or at least attentive. You were suddenly faced a new problem: getting people to be happy with what you say.

Then, as now, you only spoke because you wanted to make something happen. This usually fell into one of three groups: getting people to act a certain way, getting people to think a certain way, or entertaining people so they have a better impression of you.¹

So as refutations, skeptical questions, and counter-arguments came more frequently and aggressively, they hurt, because they meant you wouldn’t be listened to, wouldn’t be believed, maybe you were even mocked. After a number of jarring experiences, you became more inhibited in your speech. Each time you were about to speak, a twinge of anxiety needled your soul. This could end badly.

In your childish imagination, it did truly seem like daddy was taller than the Hulk; that’s why you said it. You weren’t intending to be unreasonable. You simply hadn’t had any reason to consider being precise in your assertions. And why would you? Your statement could have been interpreted as hyperbole, in which case it wouldn’t have caused any backlash. The distinction between free-form, non-logical assertions— like hyperbole — and those that society requires to be more precise is determined entirely by whether or not you experience push-back from others.

So as others began to challenge your words, they planted the first seeds of what would eventually become your “objectivity”. The initial incentive for rational thinking had now taken root, and would persist for as long as you still wanted socialize — presumably your entire life.

Internalization

[Logical] norms govern our rational interactions with our peers. For instance, they might be thought to codify the permissions and obligations governing certain kinds of dialogues. Viewed from this perspective, logic’s normative impact on the intra-personal activity of reasoning is merely derivative, arrived at through a process of interiorization. — The Normative Status of Logic, Stanford Encyclopedia of Philosophy

Soon such incidents became the norm. You tried your best to avoid them. To this end, you began to internalize others’ counter-arguments. Before you made your case, you recalled and brought to mind the sorts of refutations your words might encounter. Your goal was to prepare yourself by rehearsing, in thought, how you could outmanoeuvre them, and avoid the worst of their scorn.

This manifested as a rudimentary type of planning. You imagined (relived) the hurtful refutations, then your mind came up with options and plans that you predicted would to evade their snares. You picked up these solutions by observing how others overcame similar situations, and parroting their words. 

Such parroting could hardly be called “logic”; it was more like cautious circumspection and social conformity. This is the same process as when adults choose not to reveal that they actually enjoyed an otherwise unpopular movie; or more simply it is like teaching a child the correct word for a given object or situation, and correcting them when they fail to conform to how that language is used. As a child, such conformity was indeed your only modus operandi, since you weren’t cognizant enough to think more deeply about what you were going to say.

All early education in informal logic happens through the correction and imitation of explicit statements, if only because there is no other way to teach a child. Your immature mind at the time was exclusively occupied with thoughts of what you wanted and what you disliked. You easily mingled together fantasy and reality — that is, what you wanted to be true and what was actually true. Through social training, you gradually acquired a new reflex, a hesitation, an impulse to think things through before speaking.

By the time you were a pre-teen, society’s demand for you speak a certain way was firmly established, internalized, and accounted for. It eventually reached the point where you didn’t even have to be in front of an audience to feel pressured to adhere to such rules. In an especially invasive turn, your mind began to rearrange your personal and private thoughts, in deference to a now ubiquitous anxiety, that of being refuted². Even in your solitary moments, whenever you had a thought expressed in words, and you foresaw a possible refutation, your mind triggered its habitual tensions and would not let up until they were resolved. You became your own thought-police.

From that point forward, the development of rational thinking was the development, and ultimately refinement, of a variety of such reactions.

Playing by their Rules

If I said that a friend of mine was “nice” and later claimed that he was upsetting me, that is not considered contradictory; people change. If I said that an animal is a herbivore and then claimed it ate a zebra I would definitely be challenged. But as a child, you would not³ initially distinguish these two examples. In the same way, you wouldn’t automatically think that a spray-painted swan is not a valid counterexample to “all swans are white”. After all, stop signs are spray-painted red, and everyone seems comfortable saying they are actually red.

Nor can the words in the predicate itself help you make the distinction. The green swan is in fact a “green swan”. You need to be taught the scope of interpretation behind each predicate. To distinguish these two cases, an adult would have had to correct you when you saw, say, a spray-painted statue of a swan and took it as a representation of the real thing. He might have framed it as a “trick”, or as “make-believe” — something emotionally resonant to your immature mind. Only by making an emotional impact — say, on your need for approval — could he rise above the noise and affect a cognitive change.⁴

By raising objections and concerns, people regularly coached you on how to think about various topics, and more importantly how to separate those for which greater precision was compulsory. For example, your peers would demand a high degree of rigour in mathematical proofs, but were lax when it came to idle sophistry. Poetry and humour thrived on contradictions. In response, you built a repertoire of context-specific responses⁵. And it was all new information to you; it couldn’t be derived apriori from what you already knew.

Remember that being “illogical” is only a transgression if there is an explicitly agreed upon formalism to transgress. In cases where it doesn’t apply — e.g. the phrase “give the job 110%!” — calling an assertion “illogical” makes the speaker sound robotic and inhuman. In any case, it would severely restrict your popularity.

This is why logic is always considered “optional”. Whether, and in what way, you choose to apply it is motivated by whether you encountered social pressure to do so given the specific words and context — and also if you want to pay heed to that pressure.

In the absence of any concern about being challenged, your default mode is to think freely and uninhibitedly. Without any corrective social pressure, your mind can comfortably accept any kind of contradiction without hesitation, as you saw with the phrase “less is more”. You only need to apply as much diligence or precision, and only in such a way, as you can get away with — sometimes none at all.

To be adaptive in its use of logic, an A.I. must be permitted to learn both if and why some kind of “logic” should be used in the first place; and make that choice based on context and intentions. Otherwise it would necessarily fail to generalize correctly, usually by overextending a rule to a situation where it is not applicable.

New Pressure Creates New Responses

To see how society’s corrective behaviour can give rise to informal logic in children, let’s look back at the problem of the green swan from the first post, and see how, as a child, you would have initially learned the predicate “all swans are white”. Specifically, let’s look at what induced you to learn the quantifier “all” and add it to the assertion.

As a prerequisite to this, you should already have to attach the word “swan” to a set of visual experiences, to attach names of colours to different sights, and to use the connector “is”. In all these instances, your only motive for learning was to impress your expectant parents and teachers, and get their approving smiles. They represented, in microcosm, the general social pressure to express your thoughts using the language your community demands.

At some point, you saw a green swan. Being naive, you thought to yourself “that swan is green”. Later, when an adult asked you what colour swans are, both colour memories were jogged, and you expressed them both.

You were corrected. You saw no approving smiles, just sad or confused frowns. This didn’t feel good. You didn’t know, or even try to know, why this happened. At this age you had no high-level concepts; you only knew that there were right words and there were wrong words. You needed some alternate set of words to keep you in people’s good books⁶. The adult in question repeated the correct answer for your benefit: “swans are white”, and you memorized it.

Later, a friend your age mentioned that she saw a blue swan (presumably fictional). You remembered the backlash from your own experience of saying something like that and, either to quiet your underlying anxiety, or to advise your friend against embarrassment, you spoke out the right answer, that is: “swans are white”. In imitation of your teacher, your face and body language conveyed that she needed to change her words to the correct ones. You didn’t yet know why exactly a blue swan was “wrong”. Your knowledge of biology was sparse. You couldn’t give her reasons, and she wouldn’t understand them if you could.

Your friend now pushed back. She was convinced she saw a blue one, and you had given her no reason to reject the evidence of her eyes. Perhaps this blue swan was ‘special’?

But from your perspective, you wanted some way to communicate that there are no exceptions; that she was in error. For this purpose, the word “all” found its use. As with every word you’d learned so far, you’d picked it up through imitation from some similar situation — whether a book, school, adults’ conversation — and it seemed to work then. You liked the word because it emphasized your assertion. So you reiterated: “all swans are white”.

You don’t yet know that the word “all” was a universal quantifier, and what the consequences of claiming that “all swans are white” was. To you it is just a word to rebuff your friend. A different phrase, such as “wrong! Swans are white” would have been equally useful, and indistinguishable to you from “all swans are white”. The word “all” lacked the conscious depth of meaning that you would later ascribe to it, a depth that you would uncover through further conversations and corrections.

There’s far more to the development of this single predicate than can be included in one post. Each word and grammatical construction in your lexicon has a long history of associations and triggering cues. They are all, however, built on and by social motives — to impress, to gain approval. Abstract words like “all” are also rooted in motives; here the motive was to refute cases incorrectly claimed to be exceptions, like the blue swan.

The Roots of Logical Principles

Still, it is difficult to call such early training “logic”, since it was mostly about parroting the right words. Every case was a special case, a context-specific response. It was like learning irregular grammar⁷, or how to avoid a social taboo. And just as you learned not to say “I eat-ed”, but rather “I ate”, each amendment had to be learned by heart. The only problem you were solving was how to avoid being embarrassed, being rejected, having teachers and peers push back. Social motives — even infantile ones — drove you to learn new phrases, and add nuance to old ones.

Nevertheless it is critical to begin to approach logic from this direction. It is the only way to address the problem described in the first post; how logic can be effectively applied while being sensitive to context. To correctly understand predicates you must always engage with the social motives behind them. This will give them flexibility, and allows you to productively adapt them to new situations. I emphasize that word, since to be productive you must have a goal in mind, towards which your behaviour is considered productive.

You can already see how the nuance of individual logical predicates and operations gets baked into such early training. Mature, formal or abstract logic grows out of these early interactions as a self-reflexive elaboration of your own thoughts. Tracing the progress of its development in children is a signpost for how logical concepts function in adults.

The notion of consistency, for instance, originally grew out of a specific social tension. Others called you out on your assertion, but they called you out in a particular way: they rejected your assertion by using an earlier statement you yourself made8. They emphasized that the two cannot coexist due to the experienced constraints of reality; a sort of rejection by deference to the authority of the universe itself.

The idea of confidence — likelihood — of an assertion took root when you made a sweeping statement, and someone challenged the limited scope of your experiences. “Are you sure” she asked “that all swans are white?” To avoid the embarrassment of being proven wrong by an unsympathetic peer, you learned to add weasel-words (“some”, “maybe”). Later, you may have explored this seminal motive alongside numeracy, and from there developed your understanding of probability.

The same is true not just of logical operations but also of the content of predicates. This is why the A.I. in the first post failed to generalize the colour of the swan correctly. It lacked the ability to pick up on the motive underpinning how “animal colours” are defined. When you define an animal’s colour you are actually addressing a hidden social question:

What colour should I tell people an animal will be next time they see one in the wild, or in a book?

or equivalently:

What colour will authority figures say this animal is?

These are problems of human interaction, of personal credibility, of not looking like a fool. It’s not a matter of what RGB colour the animal will appear in every image in a dataset—this latter is how the A.I. interpreted the question. You want to appear knowledgeable and helpful to others.

Approaching it this way, it seems obvious that spray-painting a swan, chemically altering it, wearing tinted glasses, and using purple light are irrelevant, since these are unlikely to pertain in the wild, and would be ignored by scientists. Were the A.I. attuned to these underlying social motives, it could have quickly picked up on such distinctions, and ignored any red herrings.

Motivated Reasoning

Every act of thinking and understanding, from concepts to logical operations, is motivated9. And although logical A.I.s (like Prolog) can be said to be goal-oriented, this series aims to situate that aspect of logic in a broader and more integrated scope; that is, to represent informal logic as a series of pragmatic deliberations intended to resolve immediate social tensions.

To see what I mean, let’s pull together all the threads we’ve discussed so far, and see how you, as a child, might try to reconcile the presence of the spray-painted green swan. This section depicts an abbreviated progression of thoughts. The key thing to note is that each of them is driven and evaluated by an underlying social motive.

The first challenge you encounter is that of impressing a teacher who quizzed you on the colour of swans. You imagine a swan, and quickly satisfy your teacher’s expectations by repeating a label you’ve learned: “white”. 

Some time later you see a spray-painted green swan. You’re proud that you can identify its colour as “green”, and you think this aloud. But now your two statements “conflict” with one another. Saying it’s one colour when you think it’s a different one has previously landed you with the accusation of lying, or of ignorance. You’re concerned that’s how you’ll appear to others, but as yet you have no way to reconcile your thoughts – this is the problem of inconsistency.

One day, on telling someone the painted swan is “green” you are told you have been misled. An adult informs you that spray-painting a swan does not indicate its true colour. Your error makes you feel embarrassed. Fortunately, the same person restores your confidence by revealing a solution: the true colour of the swan is its original colour, white. When the problem of inconsistency rears its head again — in thought or in actual conversation — you can resolve it: “the green swan is actually white”.

Your mind may not follow this progression exactly, and many intermediate steps have been omitted for brevity. The key point is that every one of the above thoughts is a reaction to a social problem, usually centred around what you say, or plan to say. Granted, many of the above expressions could be written out more formally, e.g.

Spray painted swans are not their true colour

This swan is spray-painted

etc…

but this is not how children generally think. Rather their minds react only to the specifics of each problem as it has been impressed upon them through discourse. Your entire early experience of informal logic is a tapestry of small problems and solutions, with scant few abstractions or generalized rules. Any logic that is there is only such as is implicit in your behaviour.

Rationality Grows out of Irrationality

Most of us are, implicitly at least, logical realists10. We feel convinced that logic has some reality, either in the mind, in the world, or both. Therefore this post may have seemed odd to you. Looking inside your own mind, you may observe many cases where logical necessity inexorably draws along your train of thoughts from one to another. There must be some mental force or tendency, you would say, that pushes you to embrace sound logical conclusions and reject illogical ones.

And indeed there is: it is your social motives, your desire not to be embarrassed, to be respected, to be heard. This is the secret spring of that mental force that seeks to correct your speech and thoughts. Informal logic has been ingrained into your thinking to the point that it seems intuitive and unavoidable… but only in certain cases. And that’s the point; the only way to explain why we often blatantly disregard logic as is socially appropriate is to assume that it is contextually acquired and socially tailored.

For an A.I. to appropriately ground its use of logic, and at the same time to account for common departures from logic (like rationalization and wishful thinking), it must make the application of logic a socially motivated choice. An A.I. that lacked either the social motives or the regular interactions that informed it which expressions are problematic would be at a serious, perhaps insurmountable disadvantage.

I used the word “problematic”, and not “contradictory”. So far in this series we’ve discussed early childhood development, when issues are highlighted on a case by case basis. You only acquire the higher-level concept of “contradiction” once you have had enough negative experiences that you feel compelled to explore them with other people and to give them names. Ultimately, with introspection and some external help, you may discover — or rediscover — rules of formal logic. This is discussed in the last post of the series.

Concluded in part 3.

¹ Notice that “because it’s the truth” is not listed as a reason for speaking. No one ever says something merely because it’s true. Any person who did so would end up spouting an endless stream of beliefs without pausing.

² This should be unsurprising, since every linguistic thought is an implicit intention to speak, whether or not it is ever actually spoken.

³ I say “would not”, instead of “could not”, since you have no reason to even try to do so until it became a problem.

⁴ All current logical A.I. are cued to address a query by a special command from their trainer or from the architecture. For example, a question-answering A.I. is triggered to resolve a given query when the user presses “submit”; and it can’t refuse to do so. Humans don’t have any such native interface. You can choose to ignore a request, or even fail to recognize it as a request. This is a critical detail that is usually overlooked in logical A.I., and it raises the question: why do humans respond at all? You must have a reason for deciding to solve a given problem. And since that reason is in some way based on the spoken words themselves, it must be learned.

⁵ You may have guessed that the method being discussed would give rise to very specified reactions, each addressing a particular set of words, and not a general concept. This makes them context-specific. For instance, a person’s “height” may have a different set of rules than their “width”, despite both being morphological measurements. Mistakes in the latter would perhaps be considered an insult rather than an inaccuracy. There is a rich history of social experiences behind each idea and concept, a history that is usually forgotten as we age. This doesn’t mean that each set of stimuli needs to acquire a directly attached response. Thoughts allow for implicit generalization by triggering, from one stimulus, another that is remembered or fabricated. In addition, you don’t have to experience each lesson for yourself. Seeing or reading about others who make mistakes is an adequate substitute. What matters in that case is how those relevant people react to the words, and your empathy does the rest.

⁶ The need to keep your speech to within others’ prescribed limitations persists into adulthood. A more nuanced version of this drives my writing of this blog post; it keeps me honest and thorough.

⁷ Logic is similar to grammar, in that both are socially-imposed restrictions on explicit statements. For a few decades in the last century, grammar was considered to be a fundamental pattern of thinking, under the theory of “Universal Grammar”. These days, that theory is discredited. An analogous mistake, I believe, is being made regarding logic.

8 This may raise the obvious objection: wouldn’t the mind have to know that the two statements are opposites, which implies it has a built in negation function i.e. a logical ‘NOT’? As should be clear so far, negation in the sense of “problem” is assumed to be built in to the mind. But to differentiate between a logical contradiction and a simple rejection for any other reason requires you to specify that this particular set of statements contains a pair of “opposites”; two things that cannot coexist. And as Hume observed in Treatise of Human Nature (part 1, section 5, 7), it is impossible to determine a priori if two things are opposites – such a relation must always be learned through experience. Thus “contradiction” is a type of rejection, but one that you find you cannot overcome due to the constraints of reality itself.

9 Here “motivated” is contrasted to “automatic”.

10 In a certain sense the logical realist perspective is true. Since the symbols of communication only exist in a social context, it’s expected that the rules you apply to them would be socially determined as well. And just as decisions about grammar are always settled in an interpersonal context, society may also be permitted to decide how word-sounds are logically arranged. “Objectivity”, in this theory, is a social invention all the way down. The only mistake, then, would be to assume that human brains fundamentally (to the neurons) engage with this same objective construct of the world, and therefore so should A.I.