LRZ E Zeitschrift Logo

Zitiervorschlag: Kemper, LR 2019, S. 138, [●], www.lrz.legal/2019S138

 
Carolin Kemper
Rechtsreferendarin | Landgericht Mannheim

Im Jahr 2017 forderte das Europäische Parlament die Europäische Kommission auf, eine „elektronische Persönlichkeit“ für autonome Roboter zu schaffen. Die Debatte zeugt von einer fundamentalen Unsicherheit im rechtlichen Umgang mit Künstlicher Intelligenz. Ist der Zeitpunkt gekommen, Künstliche Intelligenz als selbstbestimmt handelnde Entität, als ePerson, anzuerkennen?


 

 

 

Rechtserhebliche Handlungsfähigkeit von Künstlicher Intelligenz

Üblicherweise wird bei dem Thema Künstliche Intelligenz (KI) zwischen starker und schwacher KI unterschieden. Während schwache KI auf einen eng abgesteckten Aufgabenbereich spezialisiert ist, soll starke KI (auch Artificial General Intelligence genannt) ähnlich einem Menschen auch bisher unbekannte Problemstellungen lösen können. Hinter den aktuell vieldiskutierten neueren Technologien der Digitalisierung stehen häufig sog. machine learning-Algorithmen (ML-Algorithmen), insbesondere Künstliche Neuronale Netze. Anders als oft angenommen, handelt es sich bei diesen nicht um eine Nachbildung des menschlichen Gehirns, sondern um komplexe, aus miteinander verbundenen Knotenpunkten bestehende Netzwerke.[1] Diese Netzwerke können trainiert werden, um z.B. Bilder zu klassifizieren (Katze: Ja oder Nein). Sie werden durch einen Algorithmus optimiert, der statistische Verfahren wie z.B. logistische Regressionen beim Lernprozess verwendet. Künstliche Neuronale Netze können aus vielen Schichten bestehen (sog. Deep Learning). Da Computerprogramme mithilfe von ML-Algorithmen nur spezifische Aufgaben bewältigen können, gehören sie zur schwachen KI.

Computerprogramme können mithilfe von KI zu handlungsfähigen Systemen werden, die als „digitale Agenten“ bezeichnet werden. Handlungsfähigkeit im rechtlichen Kontext erfordert in der Regel Kommunikationsfähigkeit, z.B. bei Vertragsabschlüssen. Ein automatisiertes Bestellsystem, das den Bedarf eines Produktes vorhersagt und eigenständig bestellt, kommuniziert ähnlich wie ein Mensch, der die gleiche Aufgabe wahrnimmt.[2] Mit vorgefertigten E-Mails bzw. Bestellformularen ist für den Empfänger nicht unbedingt erkennbar, ob ein Mensch oder ein Computerprogramm die Bestellung initiiert hat. Obwohl ML-Algorithmen „lernen“ und sich verbessern können, ist ihre Autonomie begrenzt: sie lösen ausschließlich die Aufgabe, für die sie trainiert wurden. Die Ergebnisse von Systemen, die ML-Algorithmen nutzen, können nicht vorhergesehen und nur mit großem Aufwand nachvollzogen werden. Die maßgeblichen Faktoren, die zum Ergebnis beitragen, werden von ihnen nicht expliziert. Insofern sind sie eigenständiger, mithin autonomer, als herkömmliche, regelbasierte Verfahren. Aufgrund ihrer intransparenten Ergebnisfindung bezeichnet man sie oft als Black Boxes.[3]

Um digitalen Agenten rechtserhebliche Handlungen in subjektiver Hinsicht zurechnen zu können, ist entweder Vorsatz oder Fahrlässigkeit notwendig. Auch wenn Computerprogramme keinen eigenen Willen besitzen, können subjektive Elemente fingiert werden, indem man aus dem Verhalten auf die Zielrichtung des Programms schließt.[4] Wir beobachten das Verhalten eines Akteurs und nehmen quasi automatisch an, dass dieser in rationaler Weise ein gewisses Ziel verfolgt. Wenn beispielsweise ein Boston Dynamics-Roboter[5] eine Tür öffnet, gehen wir davon aus, dass er anschließend den Raum betreten möchte. Wenn er auf einer Bananenschale ausrutscht, vermuten wir, dass dies unbeabsichtigt (da nicht rational) war. Eine derartige Konstruktion der Rechtssubjektivität intelligenter Systeme würde der objektivierenden Betrachtungsweise im Zivilrecht entsprechen, bei der häufig auf den objektiven Empfängerhorizont bzw. die objektiv erforderliche Sorgfalt aus Sicht eines Dritten abgestellt wird.[6]

Selbst fortgeschrittenere Technologien aus der Wissenschaft[7] sind weit von einer Artificial General Intelligence oder gar menschlichen Denkmustern entfernt. Wer bei KI instinktiv an C3PO, Skynet oder J.A.R.V.I.S. denkt, zieht also falsche Schlüsse. Digitale Agenten und KI-Programme sollten daher nicht anthropomorphisiert, sondern entsprechend ihrer Eigenart betrachtet werden.[8]

 

 


Zurechnungs- und Haftungslücken

Mittlerweile gibt es Bestellsysteme, die nicht nur automatisiert Waren bestellen, sondern auch die optimale Menge und ggf. den günstigsten Anbieter ermitteln.[9] Wenn ein solches System Fehlbestellungen tätigt oder Schäden verursacht, muss hierfür jemand einstehen.[10] Grundsätzlich haftet der Anwender bzw. bei Produktfehlern der Hersteller für Schäden. Haftungslücken entstehen, wenn Computerprogramme selbstständig bzw. autonom handeln und ihre Ergebnisse oder Entscheidungen nicht vorhersehbar oder vermeidbar sind. Fehlentscheidungen von ML-Algorithmen sind z.T. so offensichtlich, dass sie einem Menschen niemals passieren würden.[11] Beispielsweise kann durch die Manipulation nur eines Pixels eine fehlerhafte Klassifikation eines Bildes herbeigeführt werden.[12] Dies kann dazu führen, dass sich Anwender und Entwickler der Haftung entziehen, indem sie auf den Stand der Technik im Produkthaftungsrecht,[13] die Unvermeidbarkeit des Fehlers oder das Anwenden des üblichen Sorgfaltsmaßstabs verweisen.

Um diese Haftungslücken zu schließen, wurde u.a. vorgeschlagen, direkt an das Computerprogramm als handelndes Rechtssubjekt anzuknüpfen und eine Rechtspersönlichkeit für digitale Agenten einzuführen. So fordert das Europäische Parlament „die Kommission auf, […] langfristig einen speziellen rechtlichen Status für Roboter zu schaffen, damit zumindest für die ausgeklügeltsten autonomen Roboter ein Status als elektronische Person festgelegt werden könnte, die für den Ausgleich sämtlicher von ihr verursachten Schäden verantwortlich wäre sowie möglicherweise die Anwendung einer elektronischen Persönlichkeit auf Fälle, in denen Roboter eigenständige Entscheidungen treffen oder anderweitig auf unabhängige Weise mit Dritten interagieren”.[14]

In der Diskussion um die Rechtspersönlichkeit für digitale Agenten lassen sich drei Lösungsansätze identifizieren: eine volle Rechtspersönlichkeit, Teilrechtsfähigkeit in Bezug auf die §§ 164, 278, 831 BGB und die rechtliche Ausgestaltung durch Haftungsregeln.


Der digitale Agent als vollwertige Rechtsperson

Die Idee der vollen Rechtspersönlichkeit für Künstliche Intelligenzen stammt aus einem Artikel von Lawrence B. Solum aus dem Jahr 1992.[15] Dem Menschen vergleichbare Künstliche Intelligenz könnte demnach als ePerson[16] Rechtsfähigkeit erhalten. Allerdings sind digitale Agenten, wie sie derzeit existieren, noch nicht ausreichend autonom und daher allenfalls als Übergangsstufe zur starken KI zu sehen.[17] Ihre Ziele sind strikt vorgegeben, ihr Handlungsrahmen und ihre Kompetenzen stark begrenzt. Sie werden von anderen (natürlichen oder juristischen) Personen eingesetzt und nehmen am Rechtsverkehr als deren Hilfsmittel teil. Hierfür ist eine volle Rechtspersönlichkeit nicht erforderlich.

Zudem müsste eine ePerson eindeutig identifizierbar sein. Ob ein konkretes Programm ein rechtsfähiger digitaler Agent ist, müsste im Sinne der Rechtssicherheit für andere, insbesondere Vertragspartner, erkennbar sein. Vorgeschlagen wurde beispielsweise ein Register für ePersonen.[18] Darüber hinaus wäre ePersonen zunächst ein Vermögen zuzuweisen, mit dem sie haften können.[19] Auch die Organisation eines digitalen Agenten im Kleid einer Kapitalgesellschaft[20] würde zwar für die notwendige Haftungssumme sorgen, die Gesellschaft müsste aber von einem Menschen geführt und verwaltet werden, weil dem digitalen Agenten die Kompetenz zu buchstäblich allem fehlt, was nicht der exakten Funktionalität des Computerprogramms entspricht.


Teilrechtsfähigkeit oder haftungsrechtliche Lösung?

Käme digitalen Agenten eine Teilrechtsfähigkeit zu, könnten sie als Hilfspersonen für andere am Rechtsverkehr teilnehmen. Ihre Handlungen wären dem Geschäftsherrn nach den §§ 164, 278, 831 BGB zuzurechnen.[21] Allerdings steht der Mehrgewinn einer Teilrechtsfähigkeit gegenüber einer haftungsrechtlichen Lösung in Frage. Eine Eigenhaftung des digitalen Agenten bei Exzessen, die dem Geschäftsherrn nicht mehr zuzurechnen sind (z.B. im Fall von § 179 Abs. 3 BGB), ruft vergleichbare Probleme wie die volle Rechtspersönlichkeit hervor: so fehlt auch in diesen Fällen ein dem digitalen Agenten zugeordnetes Vermögen.[22]

Zudem kann die Ausgestaltung des Sorgfaltsmaßstabs und der Pflichten von Entwicklern oder Anwendern besser über das Haftungsrecht gelingen, beispielsweise durch die Einführung einer Gefährdungshaftung.[23] Die Schadensursache bei digitalen Agenten liegt grundsätzlich bei Menschen, d.h. bei Entwicklern oder Anwendern. Deshalb ist es sinnvoll, an deren Fehlverhalten haftungsrechtlich anzuknüpfen. Verträge, die unter Zuhilfenahme von digitalen Agenten geschlossen wurden,[24] sowie Schäden, die durch Fehler von digitalen Agenten verursacht wurden, sind dem jeweiligen Anwender bzw. dem Entwickler zuzurechnen.

In der Praxis rühren Fehler von digitalen Agenten von Sorgfaltspflichtverletzungen entweder der Entwickler oder der Anwender her. Gerade beim Training mit großen Datenmengen können spätere Fehler z.B. auf unsorgfältig ausgewählten bzw. bereinigten Trainingsdaten beruhen.[25] Auch der Einsatz digitaler Agenten kann Fehler hervorrufen, wenn beispielsweise die Funktionen falsch eingeschätzt oder das Computerprogramm falsch angewendet wird. Die Ursache von Fehlern digitaler Agenten sind mitunter schwer zu rekonstruieren. Allerdings gibt es Methoden, um die Ergebnisse von ML-Algorithmen nachzuvollziehen und Verantwortlichkeiten zu klären.[26] Beispielsweise wurde nach einer Kollision eines Tesla Model S mit einem LKW analysiert, weshalb die Fahrassistenz nicht eingriff.[27] Die Klärung der Verantwortlichkeit für derartige Fehler mag zwar schwer und aufwendig sein, aber nicht unmöglich.

Noch nicht geklärt ist die Frage, ob bei folgenschweren und kritischen Entscheidungen ein Mensch als letzte Entscheidungs- oder zumindest als Kontrollinstanz zwingend erforderlich sein sollte.[28] So empfehlen die ethischen Leitlinien für die Entwicklung vertrauenswürdiger Künstlicher Intelligenz der von der Europäischen Kommission eingesetzten unabhängigen hochrangigen Expertengruppe für Künstliche Intelligenz im Rahmen von Mensch-Computer-Interaktionen, dass jederzeit ein Mensch bei Entscheidungen involviert ist.[29] Mehrere Modelle erlauben unterschiedliche Grade an Kontrolle: ein Mensch kann interaktiv eingebunden sein (human in the loop), die Ergebnisse überprüfen (human on the loop), oder lediglich die Gesamtsteuerung ausüben (human in command). Zusätzlich können Entwickler Beschränkungen und Sicherheitsvorkehrungen in KI-Computerprogramme integrieren, die Ergebnisse validieren und auf ihre Plausibilität überprüfen.[30]


Fazit

Noch mag eine eigene Rechtspersönlichkeit für Künstliche Intelligenzen futuristisch klingen. Ob wir jemals an dem Punkt ankommen, dass eine Artificial General Intelligence im Rechtsverkehr agiert, steht noch in den Sternen. Derzeit fehlt es digitalen Agenten noch an Selbstständigkeit, sie sind nur auf engen Aufgabengebieten kompetent. Verantwortungslücken kann man entweder über bestehende Haftungsregelungen oder durch die Einführung eines speziellen Haftungsregimes für autonome Systeme schließen. Mit der Einführung einer Rechtspersönlichkeit für digitale Agenten wären allenfalls die Weichen für eine denkbare, aber noch entfernte, Zukunft gestellt. Dann müssten aber Bedingungen für die Verleihung der Rechtssubjektivität eingeführt werden, beispielsweise in Form verschiedener Autonomiegrade, wie auch beim autonomen Fahren. Der heutige Autonomiegrad bedarf lediglich der Konkretisierung des bestehenden Haftungsregimes.

 

 


[1] Zu Machine Learning und Data Science, siehe Kelleher/Tierney, Data Science (2018), S. 97 ff; Solak, Machine Learning als wesentliches Element von KI, Telemedicus (14.1.2019), https://www.telemedicus.info/article/3379-Machine-Learning-als-wesentliches-Element-von-KI.html; Jones, Wie Maschinen lernen lernen, Spektrum (14.1.2014), https://www.spektrum.de/news/maschinenlernen-deep-learning-macht-kuenstliche-intelligenz-praxistauglich/1220451; Etzioni, Deep Learning Isn’t A Dangerous Magic Genie. It’s Just Math, Wired (15.6.2016), https://www.wired.com/2016/06/deep-learning-isnt-dangerous-magic-genie-just-math/. Zu Machine Learning im rechtlichen Kontext: Friehoff/Schuh, LR 2019, 43, https://legal-revolution.com/de/the-legal-revolutionary/itk/deep-learning-im-rechtsmarkt; Kemper, Rechtspersönlichkeit für Künstliche Intelligenz, cognitio 2018, https://zenodo.org/record/1928171; Surden, Washington Law Review, Vol. 89 (2014), 87, 89 ff.; Zech, ZfPW 2019, 198, 201 f.
[2] Eine beispielhafte Darstellung eines Vertragsschlusses im Rahmen von Amazon Go findet sich bei Etzkorn, CR 2019, 585 ff. Vgl. zur Robo Advisor-Thematik Grützmacher/Heckmann, CR 2019, 553 f.
[3] Die Ergebnisse von Künstlichen Neuronalen Netzen können zwar analysiert und erklärt werden. Die Methoden sind jedoch nur für Fachleute verständlich, für Laien aber wenig aussagekräftig. Vgl. zu der Problematik: Doshi-Velez/Been, Towards A Rigorous Science of Interpretable Machine Learning (2017), https://arxiv.org/abs/1702.08608; Burrell, Big Data & Society, Vol. 3 (2016), 1.
[4] Vgl. hierzu Chopra/White, A Legal Theory for Autonomous Artificial Agents (2011), S. 12 ff.; Gruber, in: Gruber/Bung/Ziemann (Hrsg.), Autonome Automaten. Künstliche Körper und artifizielle Agenten in der technisierten Gesellschaft (2014), S. 191, 197 f.; Sartor, Artifcial Intelligence and Law Vol. 17 (2009), 253, 260 ff.
[5] Siehe Boston Dynamics, Testing Robustness, https://www.youtube.com/watch?v=aFuA50H9uek; Introducing SpotMini, https://www.youtube.com/watch?v=tf7IEVTDjng.
[6] Grützmacher/Heckmann (Fn. 2), 553 f.; Teubner, AcP 2018, 155, 172, 183, 188.
[7] Sie z.B. Soar Cognitive Architecture, https://soar.eecs.umich.edu/.
[8] Gruber (Fn. 4), S. 157.
[9] Z.B. wird IBM Watson mit ähnlichen Funktionalitäten beworben, siehe IBM auf Youtube, AI That Works Everywhere, https://www.youtube.com/watch?v=FRoAJ2BS7qg.
[10] Vgl. hierzu Denga, CR 2018, 69 ff.; Pieper, InTeR 2018, 9 ff.; Teubner (Fn. 6), 177 ff.
[11] Nickel, Tumblr markiert Tiefkühlhühnchen und Joe Biden als anstößig, Golem (5.12.2018), https://www.golem.de/news/machine-learning-tumblr-markiert-tiefkuehlhuehnchen-und-joe-biden-als-anstoessig-1812-138077.html.
[12] BBC, AI image recognition fooled by single pixel change (3.11.2017), https://www.bbc.com/news/technology-41845878.
[13] Vgl. zum Produkthaftungsrecht Reusch, Künstliche Intelligenz und Produkthaftung, K&R Beilage 2019, 20 f.
[14] Entschließung des Europäischen Parlaments 2015/2103(INL) vom 16.02.2017, Rn. 69; kritisch: Müller, InTeR 2019, 1.
[15] Solum, North Carolina Law Review Vol. 70 (1992), 1231.
[16] Der Begriff “ePerson” stammt von Karnow, John Marshall Journal of Computer & Information Law Vol. 13 (1994), 1, 4 ff.
[17] Die meisten Befürworter einer vollen Rechtspersönlichkeit für Künstliche Intelligenz vertreten ihre Position im Hinblick auf die (noch nicht absehbare) Zukunft: Koops/Hildebrandt/Jaquet-Chiffelle, Minnesota Journal of Law, Science & Technology Vol. 11 (2010), 497, 557 ff.; Allen/Widdison, Harvard Journal of Law and Technology Vol. 9 (1996), 25, 35 ff.; Chopra/White (Fn. 4), S. 186 ff.; Karanasiou/Pinotsis, ICAIL‘17, S. 9. Vgl. auch Kluge/Müller, InTeR 2017, 24, 29 ff.; Pieper/Gehrmann, LR 2019, 123, https://legal-revolution.com/de/the-legal-revolutionary/recht-der-digitalen-wirtschaft/kuenstliche-intelligenz-wer-haftet.
[18] Karnow, Berkeley Technology Law Journal, Vol. 11 (1996), 147, 193 ff.; Allen/Widdison (Fn 17), 42 f.; Koops/Hildebrandt/Jaquet-Chiffelle (Fn 17), 555 f.; Wettig/Zehender, Artificial Intelligence and Law Vol. 12 (2004), 111, 128.
[19] Für die Schaffung einer Haftungsmasse durch eine Versicherung: Bräutigam/Klindt, NJW 2015, 1137 f.; Teubner (Fn. 6), 195.
[20] Vgl. hierzu Bayern u.a., AJP 2017, 192; Häusermann, AJP 2017, 204; kritisch: LoPucki, Washington University Law Review Vol. 95 (2018), 1, 67.
[21] Für eine Teilrechtsfähigkeit: Teubner (Fn. 6), 177 ff.; Gruber (Fn. 4), S. 154 ff.; für eine Anwendbarkeit des Stellvertreterrechts auf digitale Agenten bei autonomen Vertragsschlüssen: Herold, Vertragsfragen im Zusammenhang mit KI, Telemedicus (11.2.2019), https://www.telemedicus.info/article/3391-Vertragsfragen-im-Zusammenhang-mit-KI.html; Specht/Herold, MMR 2018, 40, 43 f.; für eine Neuregelung, angelehnt an das Minderjährigenrecht: Grützmacher/Heckmann (Fn. 2), 559 f. Die Teilrechtsfähigkeitslösung wird als Zurechnungsmodell bezeichnet bei Kluge/Müller (Fn 17), 27 ff. Von einer “partiellen Gleichstellung” von Maschinen und Menschen spricht dagegen Borges, NJW 2018, 977, 979.
[22] Deshalb wäre eine Pflicht zu Kenntlichmachung der Verwendung eines autonomen Systems sinnvoll, so Specht/Herold (Fn. 21), 43 f.
[23] Zur Haftungsfrage vgl. Pieper, InTeR 2016, 188, 192 ff.; Gruber (Fn. 4), S. 143 ff. Zur Produkthaftung vgl. Reusch, Künstliche Intelligenz und Produkthaftung, Telemedicus (18.2.2019), https://www.telemedicus.info/article/3394-Kuenstliche-Intelligenz-und-Produkthaftung.html.
[24] Die Zurechnung von autonom geschlossenen Verträgen unter Vertrauensgesichtspunkten wird vorgeschlagen von Groß, InTeR 2018, 4, 5. Dagegen bezweifelt Pieper, inwiefern bei autonomen Vertragsschlüssen noch von einem Geschäftswillen ausgegangen werden kann: Pieper (Fn. 10), 13 f.; ders., K&R Beilage 2019, 14 (17); ders., GRUR-Prax 2019, 298, 300.
[25] Vgl. Kirchner, InTeR 2018, 19 ff. und 59 ff. Vgl. zum üblichen Data-Science-Prozess: Kelleher/Tierney (Fn. 1), S. 56 ff., 151 ff.
[26] Doshi-Velez u.a., Accountability of AI Under the Law: The Role of Explanation (2017), https://arxiv.org/abs/1711.01134.
[27] Ein Erklärungsversuch des Unfalls eines Tesla Model S mit einem LKW im Jahr 2016 findet sich hier: https://electrek.co/2016/07/01/understanding-fatal-tesla-accident-autopilot-nhtsa-probe/.
[28] Hochrangigen Expertengruppe für Künstliche Intelligenz, Ethik-Leitlinien für eine vertrauenswürdige KI (2019), Rn. 65; zu Hybriden bzw. Mensch-Maschinen-Assoziationen, siehe Teubner (Fn. 6), 196 ff.; Gruber (Fn. 4), 125 ff.
[29] Siehe Fn. 28.
[30] Vgl. auch Reusch (Fn. 13), 21.