Friendly AI ist ein Begriff, der von Forschern der künstlichen Intelligenz (KI) verwendet wird, um sich auf KI-Systeme zu beziehen, die im Allgemeinen Aktionen ausführen, die für die Menschheit hilfreich und nicht neutral oder schädlich sind. Dies bedeutet nicht blinden Gehorsam – im Gegenteil, der Begriff wird verwendet, um KI-Systeme zu beschreiben, die freundlich sind, weil sie es sein wollen, nicht aufgrund einer von außen auferlegten Gewalt. Friendly AI ist nicht nur der Name fertiger Systeme, sondern auch die theoretische und technische Disziplin, die verwendet werden würde, um solche Systeme erfolgreich zu erstellen.
Der Begriff „Friendly AI“ stammt von Eliezer Yudkowsky vom Singularity Institute for Artificial Intelligence, dessen Ziel es ist, Friendly AI zu schaffen, die intelligent genug ist, um den eigenen Quellcode ohne Programmierereingriff zu verbessern. Seine buchlange Arbeit zu diesem Thema, Creating Friendly AI, die 2001 online veröffentlicht wurde, ist wahrscheinlich die erste konsequente Behandlung des Themas überhaupt. Yudkowsky beruft sich auf Argumente aus der Evolutionspsychologie und anderen Kognitionswissenschaften, um seine Herangehensweise an das Problem der Friendly AI zu untermauern.
Freundliche KI wird als akademische Disziplin als wichtig erachtet, da frühere Versuche, das Problem der Schurken-KI zu „beantworten“, im Allgemeinen auf strenge programmatische Beschränkungen zurückgingen, die bei alternativen Interpretationen zwangsläufig zusammenbrechen, wenn die KI schlauer als der Mensch wird oder einfach die Fähigkeit, sich selbst neu zu programmieren. Anthropomorphismus ist auch ein Problem in der KI. Da die Evolution Organismen hervorbringt, die dazu neigen, egoistisch zu sein, gehen viele Denker davon aus, dass jede KI, die wir bauen, die gleiche Tendenz haben würde, entweder sofort oder nachdem sie intelligent genug geworden ist.
Die Evolution baut Organismen mit egozentrischen Zielsystemen, weil es nicht anders geht. Altruistische Zielsysteme brauchten viele Millionen Jahre, um sich zu entwickeln, und dies nur unter Bedingungen, in denen Mitglieder desselben Stammes viel zu gewinnen hatten, wenn sie sich gegenseitig halfen, und viel zu verlieren, wenn sie dies versäumten. Aber wenn wir einen Geist von Grund auf neu entwerfen würden, könnten wir ihn ohne ein egozentrisches Zielsystem aufbauen. Dies wäre keine „Einschränkung der KI“ – es würde einfach eine KI schaffen, die von Natur aus selbstlos ist.
Die obige Beobachtung ist eine von vielen, die zum Bereich der Friendly AI beitragen, der extrem neu ist und noch viel Arbeit braucht. Einige KI-Forscher argumentieren, dass wir die Designmerkmale, die für die Implementierung von Friendly AI erforderlich sind, erst bestimmen können, wenn wir über intelligentere KI-Systeme zum Experimentieren verfügen. Andere argumentieren, dass ein rein theoretischer Ansatz nicht nur möglich, sondern ethisch notwendig ist, bevor man einen ernsthaften Versuch einer allgemeinen KI beginnt.