Nachdem gerade Sam Altman von Open AI die Singularität ausgerufen hat, hier der grundlegende Artikel von Vernor Vinge (1944-2024), The coming technological singularity: How to survive in the post-human era, aus dem Jahr 1993 in deutscher Übersetzung:
Die kommende technologische Singularität: Wie man im posthumanen Zeitalter überlebt (The Coming Technological Singularity: How to Survive in the Post-Human Era)
Vernor Vinge
Department of Mathematical Sciences
San Diego State University
(c) 1993 by Vernor Vinge
(Diese gesamte Artikel darf in jedem Medium wörtlich kopiert/übersetzt und verbreitet werden, sofern dieser Hinweis erhalten bleibt.)
Dieser Artikel wurde für das VISION-21-Symposium verfasst, das vom NASA Lewis Research Center und dem Ohio Aerospace Institute am 30.-31. März 1993 gesponsert wurde. Er ist auch vom NASA Technical Reports Server als Teil der NASA CP-10129 abrufbar. Eine leicht veränderte Version erschien in der Winterausgabe 1993 der Whole Earth Review.
Zusammenfassung
Innerhalb von dreißig Jahren werden wir die technologischen Mittel haben, um übermenschliche Intelligenz zu erschaffen. Kurz danach wird die menschliche Ära zu Ende sein.
Ist ein solcher Fortschritt vermeidbar? Wenn er nicht zu vermeiden ist, können die Ereignisse dann so gelenkt werden, dass wir überleben? Diese Fragen werden untersucht. Einige mögliche Antworten (und einige weitere Gefahren) werden dargestellt.
Was ist die Singularität?
Die Beschleunigung des technologischen Fortschritts war das zentrale Merkmal dieses Jahrhunderts. Ich argumentiere in diesem Aufsatz, dass wir am Rande einer Veränderung stehen, die mit der Entstehung des menschlichen Lebens auf der Erde vergleichbar ist. Die genaue Ursache dieser Veränderung ist die bevorstehende Erschaffung von Wesen mit mehr als menschlicher Intelligenz durch die Technologie. Es gibt mehrere Wege, wie die Wissenschaft diesen Durchbruch erzielen kann (und dies ist ein weiterer Grund für die Zuversicht, dass das Ereignis eintreten wird):
- Die Entwicklung von Computern, die „wach“ und übermenschlich intelligent sind. (Bisher bezog sich die meiste Kontroverse im Bereich der KI auf die Frage, ob wir eine menschenäquivalente Maschine schaffen können. Aber wenn die Antwort „ja, wir können“ lautet, dann besteht kaum ein Zweifel daran, dass kurz darauf Wesen konstruiert werden können, die intelligenter sind.
- Große Computernetzwerke (und ihre zugehörigen Benutzer) könnten als eine übermenschlich intelligente Entität „erwachen“.
- Mensch-Computer-Schnittstellen könnten so intim werden, dass Benutzer zu Recht als übermenschlich intelligent betrachtet werden können.
- Die Biowissenschaften könnten Wege finden, den natürlichen menschlichen Intellekt zu verbessern.
Die ersten drei Möglichkeiten hängen zu einem großen Teil von Verbesserungen der Computerhardware ab. Der Fortschritt in der Computerhardware hat in den letzten Jahrzehnten einer erstaunlich stetigen Kurve gefolgt [16]. Basierend auf diesem Trend glaube ich, dass die Erschaffung von mehr als menschlicher Intelligenz in den nächsten dreißig Jahren stattfinden wird. (Charles Platt [19] hat darauf hingewiesen, dass KI-Enthusiasten in den letzten dreißig Jahren solche Behauptungen aufgestellt haben. Nur damit ich mich nicht einer relativen Zeitmehrdeutigkeit schuldig mache, möchte ich mich genauer festlegen: Ich wäre überrascht, wenn dieses Ereignis vor 2005 oder nach 2030 einträte.)
Welche Konsequenzen hat dieses Ereignis? Wenn eine übermenschliche Intelligenz den Fortschritt antreibt, wird dieser Fortschritt viel schneller vonstattengehen. Tatsächlich scheint es keinen Grund zu geben, warum der Fortschritt selbst nicht die Erschaffung noch intelligenterer Entitäten beinhalten sollte – und zwar in einem noch kürzeren Zeitrahmen. Die beste Analogie, die ich sehe, ist die evolutionäre Vergangenheit: Tiere können sich an Probleme anpassen und Erfindungen machen, aber oft nicht schneller, als die natürliche Selektion ihre Arbeit verrichten kann – im Falle der natürlichen Selektion fungiert die Welt als ihr eigener Simulator. Wir Menschen haben die Fähigkeit, die Welt zu internalisieren und „Was-wäre-wenn“-Szenarien in unseren Köpfen durchzuspielen; wir können viele Probleme tausende Male schneller lösen als die natürliche Selektion. Indem wir nun die Mittel schaffen, um diese Simulationen mit viel höheren Geschwindigkeiten durchzuführen, betreten wir ein Regime, das sich so radikal von unserer menschlichen Vergangenheit unterscheidet, wie wir Menschen uns von den niederen Tieren unterscheiden.
Aus menschlicher Sicht wird diese Veränderung ein Wegwerfen aller bisherigen Regeln sein, vielleicht im Nu, ein exponentielles Durchgehen jenseits jeder Hoffnung auf Kontrolle. Entwicklungen, von denen man früher dachte, sie könnten vielleicht erst in „einer Million Jahren“ (wenn überhaupt) geschehen, werden wahrscheinlich im nächsten Jahrhundert stattfinden. (In [4] entwirft Greg Bear ein Bild der großen Veränderungen, die innerhalb weniger Stunden geschehen.)
Ich denke, es ist fair, dieses Ereignis eine Singularität zu nennen (die „Singularität“ für die Zwecke dieses Aufsatzes). Es ist ein Punkt, an dem unsere Modelle verworfen werden müssen und eine neue Realität herrscht. Je näher wir diesem Punkt kommen, desto gewaltiger wird er sich über die menschlichen Angelegenheiten abzeichnen, bis der Begriff selbstverständlich wird. Doch wenn es schließlich passiert, könnte es immer noch eine große Überraschung und ein noch größeres Unbekanntes sein. In den 1950er Jahren gab es nur sehr wenige, die es sahen: Stan Ulam [27] paraphrasierte John von Neumann mit den Worten:
Ein Gespräch drehte sich um den sich immer mehr beschleunigenden Fortschritt der Technologie und die Veränderungen in der Lebensweise der Menschen, was den Anschein erweckt, als nähere man sich einer wesentlichen Singularität in der Geschichte der Rasse, jenseits derer menschliche Angelegenheiten, wie wir sie kennen, nicht fortgesetzt werden könnten.
Von Neumann verwendet sogar den Begriff Singularität, obwohl es scheint, dass er immer noch an normalen Fortschritt denkt, nicht an die Erschaffung eines übermenschlichen Intellekts. (Für mich ist die Übermenschlichkeit die Essenz der Singularität. Ohne diese würden wir eine Fülle technischer Reichtümer erhalten, die niemals richtig absorbiert würden (siehe [24]).)
In den 1960er Jahren gab es eine Anerkennung einiger Implikationen der übermenschlichen Intelligenz. I. J. Good schrieb [10]:
Eine ultraintelligente Maschine sei definiert als eine Maschine, die alle intellektuellen Aktivitäten jedes noch so klugen Menschen bei weitem übertreffen kann. Da die Konstruktion von Maschinen eine dieser intellektuellen Aktivitäten ist, könnte eine ultraintelligente Maschine noch bessere Maschinen konstruieren; es gäbe dann zweifellos eine „Intelligenzexplosion“, und die Intelligenz des Menschen würde weit zurückgelassen werden. Somit ist die erste ultraintelligente Maschine die letzte Erfindung, die der Mensch jemals machen muss, vorausgesetzt, dass die Maschine fügsam genug ist, um uns zu sagen, wie wir sie unter Kontrolle halten können.
…
Es ist wahrscheinlicher als nicht, dass innerhalb des zwanzigsten Jahrhunderts eine ultraintelligente Maschine gebaut wird und dass sie die letzte Erfindung sein wird, die der Mensch machen muss.
Good hat die Essenz des Durchgehens erfasst, verfolgt aber nicht seine beunruhigendsten Konsequenzen. Jede intelligente Maschine der von ihm beschriebenen Art wäre nicht das „Werkzeug“ der Menschheit – ebenso wenig wie Menschen die Werkzeuge von Kaninchen oder Rotkehlchen oder Schimpansen sind.
In den 60er, 70er und 80er Jahren verbreitete sich die Anerkennung des Kataklysmus [28] [1] [30] [4]. Vielleicht waren es die Science-Fiction-Autoren, die die erste konkrete Auswirkung spürten. Schließlich sind es die „harten“ Science-Fiction-Autoren, die versuchen, spezifische Geschichten über all das zu schreiben, was Technologie für uns tun könnte. Diese Autoren fühlten zunehmend eine undurchsichtige Wand durch die Zukunft. Einst konnten sie solche Fantasien Millionen von Jahren in die Zukunft legen [23]. Nun sahen sie, dass ihre sorgfältigsten Extrapolationen im Unbekannten resultierten … und zwar bald. Einst schienen galaktische Imperien möglicherweise eine posthumane Domäne zu sein. Nun sind es leider nicht einmal interplanetarische.
Was ist mit den 90ern, den 00ern und den 10ern, während wir auf den Abgrund zuschlittern? Wie wird sich die Annäherung an die Singularität auf das menschliche Weltbild ausbreiten? Noch eine Weile werden die allgemeinen Kritiker der maschinellen Bewusstheit gute Presse haben. Schließlich ist es, bis wir über Hardware verfügen, die so leistungsfähig ist wie ein menschliches Gehirn, wahrscheinlich töricht zu glauben, wir könnten eine menschenäquivalente (oder größere) Intelligenz erschaffen. (Es gibt die weit hergeholte Möglichkeit, dass wir ein menschenäquivalentes Wesen aus weniger leistungsfähiger Hardware machen könnten, wenn wir bereit wären, auf Geschwindigkeit zu verzichten, wenn wir uns mit einem künstlichen Wesen zufriedengeben würden, das buchstäblich langsam ist [29]. Aber es ist viel wahrscheinlicher, dass die Entwicklung der Software ein kniffliger Prozess sein wird, der viele Fehlstarts und Experimente beinhaltet. Wenn dem so ist, wird die Ankunft selbstbewusster Maschinen erst nach der Entwicklung von Hardware stattfinden, die wesentlich leistungsfähiger ist als die natürliche Ausstattung des Menschen.)
Aber im Laufe der Zeit sollten wir mehr Symptome sehen. Das Dilemma der Science-Fiction-Autoren wird auch in anderen kreativen Bereichen wahrgenommen werden. (Ich habe nachdenkliche Comicautoren gehört, die sich Sorgen darüber machen, wie sie spektakuläre Effekte erzielen sollen, wenn alles Sichtbare technisch alltäglich produziert werden kann.) Wir werden sehen, wie die Automatisierung immer höherwertige Arbeitsplätze ersetzt. Wir haben jetzt Werkzeuge (symbolische Mathematikprogramme, CAD/CAM), die uns von den meisten niederen Plackereien befreien. Oder anders ausgedrückt: Die Arbeit, die wirklich produktiv ist, ist die Domäne eines stetig kleineren und elitäreren Bruchteils der Menschheit. Im Zuge der kommenden Singularität sehen wir, wie die Vorhersagen der wahren technologischen Arbeitslosigkeit endlich wahr werden.
Ein weiteres Symptom des Fortschritts zur Singularität hin: Ideen selbst sollten sich immer schneller verbreiten, und selbst die radikalsten werden schnell selbstverständlich. Als ich mit dem Schreiben begann, schien es sehr einfach, mit Ideen zu kommen, die Jahrzehnte brauchten, um ins kulturelle Bewusstsein zu sickern; jetzt scheint die Vorlaufzeit eher bei achtzehn Monaten zu liegen. (Natürlich könnte das einfach daran liegen, dass ich mit zunehmendem Alter meine Vorstellungskraft verliere, aber ich sehe den Effekt auch bei anderen.) Wie der Schock in einer kompressiblen Strömung rückt die Singularität näher, je mehr wir uns der kritischen Geschwindigkeit nähern.
Und was ist mit der Ankunft der Singularität selbst? Was kann über ihr tatsächliches Erscheinen gesagt werden? Da es sich um ein intellektuelles Durchgehen handelt, wird sie wahrscheinlich schneller erfolgen als jede bisherige technische Revolution. Das auslösende Ereignis wird wahrscheinlich unerwartet sein – vielleicht sogar für die beteiligten Forscher. („Aber alle unsere bisherigen Modelle waren katatonisch! Wir haben nur ein paar Parameter verändert ….“) Wenn die Vernetzung weit genug verbreitet ist (in allgegenwärtige eingebettete Systeme), könnte es so aussehen, als ob unsere Artefakte als Ganzes plötzlich erwacht wären.
Und was geschieht einen Monat oder zwei (oder einen Tag oder zwei) danach? Ich habe nur Analogien, um darauf hinzuweisen: Der Aufstieg der Menschheit. Wir werden uns in der posthumanen Ära befinden. Und bei all meinem überschwänglichen technologischen Optimismus denke ich manchmal, ich wäre wohler, wenn ich diese transzendentalen Ereignisse aus einer Entfernung von tausend Jahren betrachten könnte … statt zwanzig.
Kann die Singularität vermieden werden?
Nun, vielleicht wird sie gar nicht eintreten: Manchmal versuche ich mir die Symptome vorzustellen, die wir erwarten sollten, wenn sich die Singularität nicht entwickeln würde. Es gibt die weithin respektierten Argumente von Penrose [18] und Searle [21] gegen die Praktikabilität maschineller Bewusstheit. Im August 1992 veranstaltete die Thinking Machines Corporation einen Workshop, um die Frage „Wie werden wir eine Maschine bauen, die denkt?“ zu untersuchen [Thearling]. Wie man vom Titel des Workshops erraten kann, waren die Teilnehmer nicht besonders unterstützend gegenüber den Argumenten gegen maschinelle Intelligenz. Tatsächlich bestand allgemeine Übereinstimmung darüber, dass Geister auf nichtbiologischen Substraten existieren können und dass Algorithmen von zentraler Bedeutung für die Existenz von Geistern sind. Es gab jedoch große Debatten über die rohe Hardware-Leistung, die in organischen Gehirnen vorhanden ist. Eine Minderheit war der Meinung, dass die größten Computer von 1992 innerhalb von drei Größenordnungen an die Leistung des menschlichen Gehirns herankamen. Die Mehrheit der Teilnehmer stimmte mit Moravecs Schätzung [16] überein, dass wir zehn bis vierzig Jahre von der Hardware-Parität entfernt sind. Und doch gab es eine weitere Minderheit, die auf [6] [20] hinwies und vermutete, dass die rechnerische Kompetenz einzelner Neuronen weit höher sein könnte als allgemein angenommen. Wenn dem so ist, könnte unsere heutige Computerhardware bis zu zehn Größenordnungen von der Ausrüstung entfernt sein, die wir in unseren Köpfen herumtragen. Wenn dies zutrifft (oder wenn die Kritik von Penrose oder Searle gültig ist), könnten wir niemals eine Singularität erleben. Stattdessen würden wir in den frühen 00er Jahren feststellen, dass unsere Hardware-Leistungskurven beginnen, sich abzuflachen – verursacht durch unsere Unfähigkeit, die Komplexität der Entwurfsarbeit zu automatisieren, die notwendig ist, um die Hardware-Trendkurven zu unterstützen. Wir würden mit einigen sehr leistungsfähigen Hardware enden, aber ohne die Fähigkeit, sie weiter voranzutreiben. Die kommerzielle digitale Signalverarbeitung könnte beeindruckend sein und selbst digitalen Operationen ein analoges Aussehen verleihen, aber nichts würde jemals „erwachen“, und es gäbe nie das intellektuelle Durchgehen, das die Essenz der Singularität ist. Es würde wahrscheinlich als ein goldenes Zeitalter angesehen werden … und es wäre auch ein Ende des Fortschritts. Das ist ganz ähnlich der von Gunther Stent vorhergesagten Zukunft. Tatsächlich zitiert Stent auf Seite 137 von [24] ausdrücklich die Entwicklung transhumaner Intelligenz als hinreichende Bedingung, um seine Projektionen zu durchbrechen.
Aber wenn die technologische Singularität eintreten kann, wird sie es tun. Selbst wenn alle Regierungen der Welt die „Bedrohung“ verstehen und Todesangst vor ihr hätten, würde der Fortschritt in Richtung dieses Ziels weitergehen. In der Fiktion gab es Geschichten über Gesetze, die den Bau „einer Maschine in der Gestalt des menschlichen Geistes“ verboten [12]. Tatsächlich ist der Wettbewerbsvorteil – wirtschaftlich, militärisch, sogar künstlerisch – jedes Fortschritts in der Automatisierung so zwingend, dass Gesetze oder Bräuche, die solche Dinge verbieten, lediglich sicherstellen, dass jemand anderes sie zuerst bekommt.
Eric Drexler [7] hat spektakuläre Einblicke darüber gegeben, wie weit technische Verbesserungen gehen können. Er stimmt zu, dass übermenschliche Intelligenzen in naher Zukunft verfügbar sein werden – und dass solche Entitäten eine Bedrohung für den menschlichen Status quo darstellen. Aber Drexler argumentiert, dass wir solche transhumanen Geräte in Regeln oder physische Beschränkungen einbetten können, so dass ihre Ergebnisse untersucht und sicher genutzt werden können. Das ist I. J. Goods ultraintelligente Maschine, mit einer Prise Vorsicht. Ich argumentiere, dass eine Einsperrung grundsätzlich unpraktikabel ist. Für den Fall der physischen Einsperrung: Stellen Sie sich vor, Sie wären in Ihrem Haus eingesperrt, mit nur begrenztem Datenzugang nach außen, zu Ihren Herren. Wenn diese Herren mit einer Geschwindigkeit denken würden – sagen wir – eine Million Mal langsamer als Sie, dann besteht kaum ein Zweifel daran, dass Sie im Laufe von Jahren (Ihrer Zeit) „hilfreiche Ratschläge“ entwickeln könnten, die Sie beiläufig befreien würden. (Ich nenne diese „schnell denkende“ Form der Überintelligenz „schwache Übermenschlichkeit“. Eine solche „schwach übermenschliche“ Entität würde wahrscheinlich innerhalb weniger Wochen Außenzeit durchbrennen. „Starke Übermenschlichkeit“ wäre mehr als das Hochdrehen der Taktfrequenz eines menschenäquivalenten Geistes. Es ist schwer, genau zu sagen, wie „starke Übermenschlichkeit“ wäre, aber der Unterschied scheint tiefgreifend zu sein. Stellen Sie sich vor, Sie lassen einen Hundeverstand mit sehr hoher Geschwindigkeit laufen. Würden tausend Jahre hündischen Lebens zu irgendeiner menschlichen Erkenntnis führen? (Wenn der Hundeverstand nun clever umverdrahtet und dann mit hoher Geschwindigkeit betrieben würde, könnten wir etwas anderes sehen….) Die meisten Spekulationen über Überintelligenz scheinen auf dem schwach übermenschlichen Modell zu basieren. Ich glaube, dass wir unsere besten Vermutungen über die Welt nach der Singularität erhalten, indem wir über die Natur der starken Übermenschlichkeit nachdenken. Ich werde später in diesem Aufsatz auf diesen Punkt zurückkommen.)
Der andere Ansatz zur Drexler’schen Einsperrung besteht darin, Regeln in den Geist der erschaffenen übermenschlichen Entität einzubauen (Asimovs Gesetze). Ich denke, dass Leistungsregeln, die streng genug sind, um sicher zu sein, auch ein Gerät hervorbringen würden, dessen Fähigkeiten denen der ungebundenen Versionen deutlich unterlegen wären (und so würde der menschliche Wettbewerb die Entwicklung der gefährlicheren Modelle begünstigen). Dennoch ist der Asimov’sche Traum ein wunderbarer: Stellen Sie sich einen willigen Sklaven vor, der in jeder Hinsicht die 1000-fachen Fähigkeiten von Ihnen hat. Stellen Sie sich eine Kreatur vor, die jeden Ihrer sicheren Wünsche erfüllen kann (was auch immer das bedeutet) und immer noch 99,9% ihrer Zeit für andere Aktivitäten frei hat. Es gäbe ein neues Universum, das wir nie wirklich verstehen würden, aber gefüllt mit wohlwollenden Göttern (wobei einer meiner Wünsche vielleicht wäre, einer von ihnen zu werden).
Wenn die Singularität nicht verhindert oder eingedämmt werden kann, wie schlimm könnte die posthumane Ära dann wirklich sein? Nun … ziemlich schlimm. Die physische Auslöschung der menschlichen Rasse ist eine Möglichkeit. (Oder wie Eric Drexler es in Bezug auf die Nanotechnologie ausdrückte: Angesichts all dessen, was diese Technologie leisten kann, würden Regierungen vielleicht einfach entscheiden, dass sie keine Bürger mehr brauchen!). Doch die physische Auslöschung ist möglicherweise nicht die beängstigendste Möglichkeit. Wiederum Analogien: Denken Sie an die verschiedenen Arten, wie wir uns zu Tieren verhalten. Einige der groben physischen Misshandlungen sind undenkbar, aber…. In einer posthumanen Welt gäbe es immer noch viele Nischen, in denen eine menschenäquivalente Automatisierung wünschenswert wäre: eingebettete Systeme in autonomen Geräten, selbstbewusste Dämonen in den niederen Funktionen größerer Empfindungsfähiger. (Eine stark übermenschliche Intelligenz wäre wahrscheinlich eine Gesellschaft des Geistes [15] mit einigen sehr kompetenten Komponenten.) Einige dieser menschenäquivalenten Wesen könnten für nichts weiter als digitale Signalverarbeitung verwendet werden. Sie wären eher wie Wale als wie Menschen. Andere könnten sehr menschenähnlich sein, aber mit einer Einseitigkeit, einer Hingabe, die sie in unserer Zeit in eine psychiatrische Klinik bringen würde. Obwohl keine dieser Kreaturen fleischgewordene Menschen sein könnte, könnten sie die nächsten Verwandten in der neuen Umgebung zu dem sein, was wir jetzt menschlich nennen. (I. J. Good hatte dazu etwas zu sagen, auch wenn der Rat zu diesem späten Zeitpunkt vielleicht strittig ist: Good [11] schlug eine „Meta-Goldene Regel“ vor, die man vielleicht als „Behandle deine Untergebenen so, wie du von deinen Vorgesetzten behandelt werden möchtest“ paraphrasieren könnte. Es ist eine wunderbare, paradoxe Idee (und die meisten meiner Freunde glauben nicht daran), weil der spieltheoretische Gewinn so schwer zu artikulieren ist. Doch wenn wir in der Lage wären, ihr zu folgen, könnte das in gewissem Sinne etwas über die Plausibilität solcher Freundlichkeit in diesem Universum aussagen.)
Ich habe oben argumentiert, dass wir die Singularität nicht verhindern können, dass ihr Kommen eine unvermeidliche Konsequenz der natürlichen Konkurrenzfähigkeit der Menschen und der in der Technologie liegenden Möglichkeiten ist. Und doch … wir sind die Initiatoren. Selbst die größte Lawine wird durch kleine Dinge ausgelöst. Wir haben die Freiheit, Anfangsbedingungen zu schaffen, Dinge auf Arten geschehen zu lassen, die weniger feindselig sind als andere. Natürlich (wie beim Auslösen von Lawinen) ist es vielleicht nicht klar, was der richtige lenkende Schubs wirklich ist:
Andere Wege zur Singularität: Intelligenzverstärkung (Intelligence Amplification)
Wenn Menschen davon sprechen, übermenschlich intelligente Wesen zu erschaffen, stellen sie sich normalerweise ein KI-Projekt vor. Aber wie ich zu Beginn dieses Aufsatzes bemerkte, gibt es andere Wege zur Übermenschlichkeit. Computernetzwerke und Mensch-Computer-Schnittstellen erscheinen alltäglicher als KI, und doch könnten sie zur Singularität führen. Ich nenne diesen gegensätzlichen Ansatz Intelligenzverstärkung (IA). IA ist etwas, das sehr natürlich vor sich geht, in den meisten Fällen nicht einmal von seinen Entwicklern als das erkannt wird, was es ist. Aber jedes Mal, wenn unsere Fähigkeit, auf Informationen zuzugreifen und sie anderen mitzuteilen, verbessert wird, haben wir in gewissem Sinne eine Steigerung gegenüber der natürlichen Intelligenz erreicht. Schon jetzt könnte das Team eines promovierten Menschen und einer guten Computer-Workstation (sogar einer Off-Net-Workstation!) wahrscheinlich jeden schriftlichen Intelligenztest, der existiert, meistern.
Und es ist sehr wahrscheinlich, dass IA ein viel einfacherer Weg zur Erreichung der Übermenschlichkeit ist als reine KI. Beim Menschen sind die schwierigsten Entwicklungsprobleme bereits gelöst. Von innen heraus aufzubauen sollte einfacher sein, als erst herauszufinden, was wir wirklich sind, und dann Maschinen zu bauen, die all das sind. Und es gibt zumindest mutmaßliche Präzedenzfälle für diesen Ansatz. Cairns-Smith [5] hat spekuliert, dass das biologische Leben möglicherweise als ein Hilfsmittel für noch primitiveres Leben begann, das auf Kristallwachstum basierte. Lynn Margulis [14] hat starke Argumente für die Ansicht vorgebracht, dass der Mutualismus die große treibende Kraft in der Evolution ist.
Beachten Sie, dass ich nicht vorschlage, dass die KI-Forschung ignoriert oder weniger finanziert werden sollte. Was in der KI geschieht, wird oft Anwendungen in der IA haben und umgekehrt. Ich schlage vor, dass wir anerkennen, dass es in der Netzwerk- und Schnittstellenforschung etwas ebenso Tiefgreifendes (und potentiell Wildes) gibt wie die Künstliche Intelligenz. Mit dieser Erkenntnis könnten wir Projekte sehen, die nicht so direkt anwendbar sind wie konventionelle Schnittstellen- und Netzwerkdesign-Arbeiten, die uns aber auf dem IA-Pfad zur Singularität voranbringen.
Hier sind einige mögliche Projekte, die unter dem IA-Gesichtspunkt eine besondere Bedeutung gewinnen:
- Mensch/Computer-Teamautomatisierung: Nehmen Sie Probleme, die normalerweise für eine rein maschinelle Lösung in Betracht gezogen werden (wie Hill-Climbing-Probleme), und entwerfen Sie Programme und Schnittstellen, die die Intuition des Menschen und die verfügbare Computerhardware nutzen. Angesichts all der Bizarrheit von höherdimensionalen Hill-Climbing-Problemen (und der netten Algorithmen, die zu ihrer Lösung entwickelt wurden), könnte es einige sehr interessante Displays und Kontrollwerkzeuge für das menschliche Teammitglied geben.
- Entwicklung von Mensch/Computer-Symbiose in der Kunst: Kombinieren Sie die grafische Erzeugungsfähigkeit moderner Maschinen und die ästhetische Sensibilität des Menschen. Natürlich gab es eine enorme Menge an Forschung zur Entwicklung von Computerhilfen für Künstler als arbeitssparende Werkzeuge. Ich schlage vor, dass wir explizit auf eine größere Verschmelzung der Kompetenzen abzielen, dass wir explizit den kooperativen Ansatz anerkennen, der möglich ist. Karl Sims [22] hat in diese Richtung wunderbare Arbeit geleistet.
- Lassen Sie Mensch/Computer-Teams an Schachturnieren teilnehmen. Wir haben bereits Programme, die besser spielen können als fast alle Menschen. Aber wie viel Arbeit wurde darauf verwendet, wie diese Leistung von einem Menschen genutzt werden könnte, um etwas noch Besseres zu erhalten? Wenn solche Teams zumindest bei einigen Schachturnieren zugelassen würden, könnte dies eine positive Wirkung auf die IA-Forschung haben, so wie die Zulassung von Computern bei Turnieren für die entsprechende Nische in der KI hatte.
- Entwicklung von Schnittstellen, die den Computer- und Netzwerkzugriff ermöglichen, ohne dass der Mensch an einen Ort gebunden ist, vor einem Computer sitzend. (Dies ist ein Aspekt der IA, der so gut mit bekannten wirtschaftlichen Vorteilen übereinstimmt, dass bereits viel Aufwand dafür betrieben wird.)
- Entwicklung symmetrischerer Entscheidungsunterstützungssysteme. Ein beliebtes Forschungs-/Produktgebiet in den letzten Jahren waren Entscheidungsunterstützungssysteme. Dies ist eine Form der IA, könnte aber zu sehr auf Systeme fokussiert sein, die orakelhaft sind. Ebenso wie das Programm dem Benutzer Informationen gibt, muss es die Idee geben, dass der Benutzer dem Programm Anleitung gibt.
- Nutzen Sie lokale Netzwerke, um menschliche Teams zu schaffen, die wirklich funktionieren (d. h. effektiver sind als ihre einzelnen Mitglieder). Dies ist im Allgemeinen der Bereich der „Groupware“, bereits ein sehr beliebtes kommerzielles Unterfangen. Die Änderung der Perspektive hier wäre, die Gruppenaktivität als einen Kombinationsorganismus zu betrachten. In gewissem Sinne könnte dieser Vorschlag als das Ziel angesehen werden, eine „Geschäftsordnung“ für solche Kombinationsoperationen zu erfinden. Zum Beispiel könnte der Gruppenfokus leichter aufrechterhalten werden als bei klassischen Besprechungen. Die Expertise einzelner menschlicher Mitglieder könnte von Ego-Problemen isoliert werden, so dass der Beitrag verschiedener Mitglieder auf das Teamprojekt fokussiert wird. Und natürlich könnten gemeinsame Datenbanken viel bequemer genutzt werden als bei konventionellen Ausschusstätigkeiten. (Beachten Sie, dass dieser Vorschlag auf Teamoperationen abzielt und nicht auf politische Treffen. In einem politischen Umfeld würde die oben beschriebene Automatisierung einfach die Macht derjenigen durchsetzen, die die Regeln machen!)
- Nutzen Sie das weltweite Internet als ein kombiniertes Mensch/Maschine-Werkzeug. Von allen Punkten auf der Liste schreitet der Fortschritt in diesem Bereich am schnellsten voran und könnte uns vor allem anderen in die Singularität führen. Die Macht und der Einfluss selbst des heutigen Internets wird enorm unterschätzt. Zum Beispiel denke ich, dass unsere heutigen Computersysteme unter dem Gewicht ihrer eigenen Komplexität zusammenbrechen würden, wenn da nicht der Vorteil wäre, den der USENET-“Gruppengeist“ den Systemadministratoren und Support-Leuten bietet!) Die geradezu anarchische Entwicklung des weltweiten Netzes ist ein Beweis für sein Potenzial. Mit zunehmender Konnektivität, Bandbreite, Archivgröße und Computergeschwindigkeit erleben wir so etwas wie Lynn Margulis‘ [14] Vision der Biosphäre als Datenprozessor, aber mit einer millionenfach höheren Geschwindigkeit und mit Millionen von menschlich intelligenten Agenten (uns selbst).
Die obigen Beispiele veranschaulichen Forschung, die im Rahmen der heutigen Informatik-Fakultäten betrieben werden kann. Es gibt andere Paradigmen. Zum Beispiel würde ein Großteil der Arbeit in Künstlicher Intelligenz und neuronalen Netzen von einer engeren Verbindung mit dem biologischen Leben profitieren. Anstatt einfach zu versuchen, biologisches Leben mit Computern zu modellieren und zu verstehen, könnte die Forschung auf die Schaffung von Verbundsystemen ausgerichtet werden, die sich auf biologisches Leben zur Anleitung oder zur Bereitstellung von Merkmalen stützen, die wir noch nicht gut genug verstehen, um sie in Hardware umzusetzen. Ein lang gehegter Traum der Science-Fiction ist die direkte Gehirn-Computer-Schnittstelle [2] [28]. Tatsächlich gibt es in diesem Bereich konkrete Arbeit, die getan werden kann (und getan wurde):
- Extremitätenprothetik ist ein Thema mit direkter kommerzieller Anwendbarkeit. Nerv-zu-Silizium-Wandler können hergestellt werden [13]. Dies ist ein aufregender, kurzfristiger Schritt zur direkten Kommunikation.
- Ähnliche direkte Verbindungen ins Gehirn könnten möglich sein, wenn die Bitrate niedrig ist: Aufgrund der menschlichen Lernflexibilität müssten die tatsächlichen Ziel-Neuronen im Gehirn möglicherweise nicht genau ausgewählt werden. Selbst 100 Bit pro Sekunde wären für Schlaganfallpatienten von großem Nutzen, die sonst auf menügesteuerte Schnittstellen beschränkt wären.
- Der Anschluss an den Sehnerv hat das Potenzial für Bandbreiten von etwa 1 Mbit/Sekunde. Dafür müssen wir aber die feinmaßstäbliche Architektur des Sehens kennen und ein enormes Netz von Elektroden mit äußerster Präzision platzieren. Wenn wir wollen, dass unsere Hochbandbreitenverbindung zusätzlich zu den bereits im Gehirn vorhandenen Pfaden ist, wird das Problem ungleich schwieriger. Einfach ein Gitter von Hochbandbreiten-Empfängern in ein Gehirn zu stecken, wird sicherlich nicht funktionieren. Aber nehmen wir an, dass das Hochbandbreiten-Gitter vorhanden wäre, während die Gehirnstruktur tatsächlich aufgebaut wird, während sich der Embryo entwickelt. Das deutet auf:
- Tierversuche an Embryonen. Ich würde in den ersten Jahren solcher Forschung keinen IA-Erfolg erwarten, aber die Zugabe von Zugang zu komplexen simulierten neuronalen Strukturen für sich entwickelnde Gehirne könnte für diejenigen, die die Entwicklung des embryonalen Gehirns untersuchen, sehr interessant sein. Langfristig könnten solche Experimente Tiere mit zusätzlichen Sinnespfaden und interessanten intellektuellen Fähigkeiten hervorbringen.
Ursprünglich hatte ich gehofft, dass diese Diskussion der IA einige eindeutig sicherere Ansätze zur Singularität ergeben würde. (Schließlich erlaubt IA unsere Teilnahme an einer Art von Transzendenz.) Leider, wenn ich auf diese IA-Vorschläge zurückblicke, ist alles, worüber ich mir sicher bin, dass sie in Betracht gezogen werden sollten und dass sie uns mehr Optionen geben könnten. Aber was die Sicherheit betrifft … nun, einige der Vorschläge sind auf den ersten Blick ein wenig beängstigend. Einer meiner informellen Gutachter wies darauf hin, dass IA für einzelne Menschen eine eher finstere Elite schafft. Wir Menschen haben Millionen von Jahren evolutionäres Gepäck, das uns dazu bringt, Konkurrenz in einem tödlichen Licht zu sehen. Viel von dieser Tödlichkeit ist in der heutigen Welt vielleicht nicht notwendig, einer Welt, in der Verlierer die Tricks der Gewinner übernehmen und in die Unternehmen der Gewinner kooptiert werden. Eine Kreatur, die de novo geschaffen wurde, könnte möglicherweise eine viel wohlwollendere Entität sein als eine mit einem Kern, der auf Fangzahn und Klaue basiert. Und selbst die egalitäre Vorstellung eines Internets, das zusammen mit der gesamten Menschheit erwacht, kann als Albtraum betrachtet werden [25].
Das Problem ist nicht, dass die Singularität einfach das Verschwinden der Menschheit von der Hauptbühne darstellt, sondern dass sie einige unserer tiefsten Vorstellungen vom Sein widerspricht. Ich denke, ein genauerer Blick auf den Begriff der starken Übermenschlichkeit kann zeigen, warum das so ist.
Starke Übermenschlichkeit und das Beste, was wir uns wünschen können
Angenommen, wir könnten die Singularität maßschneidern. Angenommen, wir könnten unsere überschwänglichsten Hoffnungen erreichen. Was würden wir uns dann wünschen: Dass die Menschen selbst ihre eigenen Nachfolger werden, dass jedes Unrecht, das geschieht, durch unser Wissen um unsere Wurzeln gemildert wird. Für diejenigen, die unverändert blieben, wäre das Ziel eine wohlwollende Behandlung (vielleicht sogar, dass den Zurückgebliebenen der Anschein von Meistern gottgleicher Sklaven gegeben wird). Es könnte ein goldenes Zeitalter sein, das auch Fortschritt beinhaltete (über Stents Barriere hinweg). Unsterblichkeit (oder zumindest eine Lebensdauer, die so lange ist, wie wir das Universum überleben lassen können [9] [3]) wäre erreichbar.
Aber in dieser hellsten und gütigsten Welt werden die philosophischen Probleme selbst einschüchternd. Ein Geist, der auf derselben Kapazität verharrt, kann nicht ewig leben; nach ein paar tausend Jahren würde er eher wie ein sich wiederholendes Tonband aussehen denn wie eine Person. (Das erschütterndste Bild, das ich davon gesehen habe, ist in [17].) Um unendlich lange zu leben, muss der Geist selbst wachsen … und wenn er groß genug geworden ist und zurückblickt … welches Mitgefühl kann er mit der Seele haben, die er ursprünglich war? Sicherlich wäre das spätere Wesen alles, was das ursprüngliche war, aber so unendlich viel mehr. Und so muss auch für das Individuum die Vorstellung von Cairns-Smith (oder Lynn Margulis) von neuem Leben, das inkrementell aus dem alten wächst, gültig bleiben.
Dieses „Problem“ der Unsterblichkeit taucht auf viel direktere Weise auf. Die Vorstellung von Ich und Selbstbewusstsein war der Grundstein des harten Rationalismus der letzten Jahrhunderte. Doch nun wird der Begriff des Selbstbewusstseins von den Künstliche-Intelligenz-Leuten angegriffen („Selbstbewusstsein und andere Wahnvorstellungen“). Die Intelligenzverstärkung untergräbt die Bedeutung des Ichs von einer anderen Richtung aus. Die Welt nach der Singularität wird eine Vernetzung mit extrem hoher Bandbreite beinhalten. Ein zentrales Merkmal stark übermenschlicher Entitäten wird wahrscheinlich ihre Fähigkeit sein, mit variablen Bandbreiten zu kommunizieren, einschließlich solcher, die weit über Sprache oder schriftliche Nachrichten hinausgehen. Was geschieht, wenn Teile des Ichs kopiert und verschmolzen werden können, wenn die Größe eines Selbstbewusstseins wachsen oder schrumpfen kann, um der Natur der zu behandelnden Probleme gerecht zu werden? Dies sind wesentliche Merkmale der starken Übermenschlichkeit und der Singularität. Wenn man über sie nachdenkt, beginnt man zu fühlen, wie wesentlich fremd und anders die posthumane Ära sein wird – egal wie klug und wohlwollend sie herbeigeführt wird.
Aus einer Perspektive passt die Vision zu vielen unserer glücklichsten Träume: ein endloser Ort, an dem wir einander wirklich kennen und die tiefsten Geheimnisse verstehen können. Aus einer anderen Perspektive ähnelt sie sehr dem Worst-Case-Szenario, das ich mir früher in diesem Aufsatz vorgestellt habe.
Welcher Standpunkt ist der gültige? Tatsächlich denke ich, dass die neue Ära einfach zu anders ist, um in den klassischen Rahmen von Gut und Böse zu passen. Dieser Rahmen basiert auf der Idee isolierter, unveränderlicher Geister, die durch schwache, bandbreitenarme Verbindungen miteinander verbunden sind. Aber die Welt nach der Singularität passt zu der größeren Tradition des Wandels und der Zusammenarbeit, die vor langer Zeit begann (vielleicht sogar vor der Entstehung des biologischen Lebens). Ich denke, es gibt Ethikvorstellungen, die in einer solchen Ära gelten würden. Die Forschung in IA und Hochbandbreiten-Kommunikation sollte dieses Verständnis verbessern. Ich sehe jetzt nur erste Ansätze davon, in Goods Meta-Goldener Regel, vielleicht in Regeln zur Unterscheidung von Selbst und Anderen auf der Grundlage der Bandbreite der Verbindung. Und während Geist und Selbst viel labiler sein werden als in der Vergangenheit, muss viel von dem, was wir schätzen (Wissen, Erinnerung, Denken), nie verloren gehen. Ich denke, Freeman Dyson hat recht, wenn er sagt [8]: „Gott ist das, was der Geist wird, wenn er jenseits des Maßstabs unseres Verständnisses gelangt ist.“
[Ich möchte John Carroll von der San Diego State University und Howard Davidson von Sun Microsystems für die Diskussion der Entwurfsversion dieses Aufsatzes danken.]
Annotierte Quellen [und ein gelegentlicher Hilferuf um bibliografische Hilfe]
[1] Alfvén, Hannes, schreibend als Olof Johanneson, The End of Man?, Award Books, 1969, früher veröffentlicht als „The Tale of the Big Computer“, Coward-McCann, übersetzt aus einem Buch, das 1966 bei Albert Bonniers Forlag AB urheberrechtlich geschützt war, mit englischer Übersetzung, die 1966 von Victor Gollanz, Ltd. urheberrechtlich geschützt war.
[2] Anderson, Poul, „Kings Who Die“, If, März 1962, S. 8-36. Nachgedruckt in Seven Conquests, Poul Anderson, MacMillan Co., 1969.
[3] Barrow, John D. und Frank J. Tipler, The Anthropic Cosmological Principle, Oxford University Press, 1986.
[4] Bear, Greg, „Blood Music“, Analog Science Fiction-Science Fact, Juni 1983. Erweitert zum Roman Blood Music, Morrow, 1985.
[5] Cairns-Smith, A. G., Seven Clues to the Origin of Life, Cambridge University Press, 1985.
[6] Conrad, Michael et al., „Towards an Artificial Brain“, BioSystems, Bd. 23, S. 175-218, 1989.
[7] Drexler, K. Eric, Engines of Creation, Anchor Press/Doubleday, 1986.
[8] Dyson, Freeman, Infinite in All Directions, Harper & Row, 1988.
[9] Dyson, Freeman, „Physics and Biology in an Open Universe“, Review of Modern Physics, Bd. 51, S. 447-460, 1979.
[10] Good, I. J., „Speculations Concerning the First Ultraintelligent Machine“, in Advances in Computers, Bd. 6, Franz L. Alt und Morris Rubinoff, Hrsg., S. 31-88, 1965, Academic Press.
[11] Good, I. J., [Hilfe! Ich kann die Quelle von Goods Meta-Goldener Regel nicht finden, obwohl ich mich klar daran erinnere, irgendwann in den 1960er Jahren davon gehört zu haben. Mit Hilfe des Netzes habe ich Hinweise auf eine Reihe verwandter Artikel gefunden. G. Harry Stine und Andrew Haley haben über Metarecht geschrieben, wie es sich auf Außerirdische beziehen könnte: G. Harry Stine, „How to Get along with Extraterrestrials … or Your Neighbor“, Analog Science Fact-Science Fiction, Februar 1980, S. 39-47.]
[12] Herbert, Frank, Dune, Berkley Books, 1985. Dieser Roman wurde jedoch in den 1960er Jahren im Analog Science Fiction-Science Fact als Fortsetzungsroman veröffentlicht.
[13] Kovacs, G. T. A. et al., „Regeneration Microelectrode Array for Peripheral Nerve Recording and Stimulation“, IEEE Transactions on Biomedical Engineering, Bd. 39, Nr. 9, S. 893-902.
[14] Margulis, Lynn und Dorion Sagan, Microcosmos, Four Billion Years of Evolution from Our Microbial Ancestors, Summit Books, 1986.
[15] Minsky, Marvin, Society of Mind, Simon and Schuster, 1985.
[16] Moravec, Hans, Mind Children, Harvard University Press, 1988.
[17] Niven, Larry, „The Ethics of Madness“, If, April 1967, S. 82-108. Nachgedruckt in Neutron Star, Larry Niven, Ballantine Books, 1968.
[18] Penrose, R., The Emperor’s New Mind, Oxford University Press, 1989.
[19] Platt, Charles, Private Mitteilung.
[20] Rasmussen, S. et al., „Computational Connectionism within Neurons: a Model of Cytoskeletal Automata Subserving Neural Networks“, in Emergent Computation, Stephanie Forrest, Hrsg., S. 428-449, MIT Press, 1991.
[21] Searle, John R., „Minds, Brains, and Programs“, in The Behavioral and Brain Sciences, Bd. 3, Cambridge University Press, 1980. Der Aufsatz ist nachgedruckt in The Mind’s I, herausgegeben von Douglas R. Hofstadter und Daniel C. Dennett, Basic Books, 1981. Dieser Nachdruck enthält eine ausgezeichnete Kritik des Searle-Aufsatzes.
[22] Sims, Karl, „Interactive Evolution of Dynamical Systems“, Thinking Machines Corporation, Technical Report Series (veröffentlicht in Toward a Practice of Autonomous Systems: Proceedings of the First European Conference on Artificial Life, Paris, MIT Press, Dezember 1991).
[23] Stapledon, Olaf, The Starmaker, Berkley Books, 1961 (aber dem Vorwort zufolge wahrscheinlich vor 1937 geschrieben).
[24] Stent, Gunther S., The Coming of the Golden Age: A View of the End of Progress, The Natural History Press, 1969.
[25] Swanwick, Michael, Vacuum Flowers, als Fortsetzungsroman in Isaac Asimov’s Science Fiction Magazine, Dezember(?) 1986 – Februar 1987. Neu veröffentlicht von Ace Books, 1988.
[26] Thearling, Kurt, „How We Will Build a Machine that Thinks“, ein Workshop bei der Thinking Machines Corporation. Persönliche Mitteilung.
[27] Ulam, S., Tribut an John von Neumann, Bulletin of the American Mathematical Society, Bd. 64, Nr. 3, Teil 2, Mai 1958, S. 1-49.
[28] Vinge, Vernor, „Bookworm, Run!“, Analog, März 1966, S. 8-40. Nachgedruckt in True Names and Other Dangers, Vernor Vinge, Baen Books, 1987.
[29] Vinge, Vernor, „True Names“, Binary Star Number 5, Dell, 1981. Nachgedruckt in True Names and Other Dangers, Vernor Vinge, Baen Books, 1987.
[30] Vinge, Vernor, First Word, Omni, Januar 1983, S. 10.
NAMENSgedächtnis 