Největší hrozbou umělé inteligence není sci-fi scénář o vzpouře robotů, ale riziko, že zadání splní až moc dokonale. Profesor Jiří Zlatuška v podcastu I Want More! popisuje takzvaný problém krále Midase a varuje před příchodem autonomních systémů, které lidi začnou vnímat jen jako překážku v zásuvce.
AI nemusí chtít zničit svět. Stačí, když bude plnit příkazy
Profesor informatiky Jiří Zlatuška byl u toho, když se v roce 1994 v Brně zakládala první samostatná fakulta informatiky ve střední Evropě. Za uplynulých třicet let sledoval obor od prvních experimentů s automatickým odvozováním teorémů až po současné velké jazykové modely. V podcastu Matěje Hollana I Want More! vysvětluje, proč největší riziko umělé inteligence nespočívá v tom, že se vzbouří, ale v tom, že bude příliš pečlivě plnit to, co jí zadáme.
Když Zlatuška v roce 1994 zakládal Fakultu informatiky Masarykovy univerzity, byl to počin bez precedentu v celé střední Evropě. Informatika do té doby existovala pouze jako součást matematiky na přírodovědecké fakultě. Zlatuška popisuje, jak musel nápad v akademickém prostředí prosazovat opakovaně. „Největší odpor tehdy byl, pokud si dobře vzpomínám, z fyziky. Chemie se na tom malinko podílela taky, ale fyzikové byli velmi proti."
Zlatuška a jeho kolegové tehdy argumentovali tím, že obor brzy přeroste z dvaceti studentů v ročníku na desetkrát, možná stokrát více, a přírodovědecká fakulta by takový masivní nárůst sama jen těžko vstřebala. Návrh na osamostatnění přesto napoprvé v akademickém senátu neprošel.
Sám Zlatuška docházel už jako středoškolák na soukromé přednášky z logiky k profesoru Pavlu Maternovi, který se tehdy potýkal se státním zákazem činnosti a přednášel mu proto tajně ve své pracovně. „Bylo to velice blízko věcem, které souvisí se zpracováním přirozeného jazyka v umělé inteligenci," vzpomíná.
Na fakultě pak Zlatuška ve druhém ročníku studia sám prezentoval práci o algoritmech generování pojmů, což jsou témata blízká tomu, co dnes tvoří samotný základ zpracování přirozeného jazyka (NLP). „Řada z těch věcí mě nepříliš překvapila, když se později objevily," říká. Po otevření fakulty se stal jejím prvním děkanem a v letech 1998 až 2004 působil jako rektor celé Masarykovy univerzity.
Problém krále Midase
Zlatuška také do češtiny přeložil Stuarta Russella, spoluautora nejrozšířenější vysokoškolské učebnice umělé inteligence a jednoho z nejvýznamnějších globálních hlasů varujících před nekontrolovaným vývojem oboru. Překlad vznikl na popud Donalda Knutha, amerického matematika považovaného za jednoho ze zakladatelů moderní informatiky a autora monumentálního díla Umění programování.
Ústřední otázka Russellovy knihy je prostá: jak zajistit, aby stroje sloužily lidem, a ne naopak? Základní problém spočívá v tom, jak se systémy dnes programují. Klasický přístup funguje tak, že se definuje cíl a systém ho matematicky optimalizuje. Jenže lidé své vlastní preference ve skutečnosti přesně neznají, a kdykoli se je pokusíme explicitně formulovat, otevíráme podle Zlatušky prostor pro katastrofu.
Zlatuška tomu říká problém krále Midase. „Ten si prostě přál, aby se mu všechno, čeho se dotkne, změnilo ve zlato, a umřel tím, že se mu to zlato měnilo i ve všechno, čeho se chtěl najíst." Když požádáte dostatečně silný systém, aby vymyslel lék na rakovinu, jeden z nejjednodušších způsobů, jak ten cíl splnit, je zlikvidovat lidstvo. Žádní lidé, žádná rakovina. Z pohledu stroje je to sice absurdní, ale matematicky naprosto konzistentní řešení.
Russellovo řešení proto nestojí na lepším a detailnějším definování cílů, ale na jejich záměrném vynechání. Stroje v sobě musí mít zabudovanou permanentní nejistotu ohledně toho, co člověk skutečně chce, a musí se neustále ptát. Jedině tak lze zajistit, aby výsledek odpovídal tomu, co jsme reálně zamýšleli.
Ztráta kontroly bude postupná
Za nejdůležitější část Russellovy práce považuje Zlatuška pasáž o takzvaných instrumentálních cílech. Představte si schopný systém umělé inteligence, kterému zadáte libovolný úkol. Aby mohl toto zadání splnit, potřebuje v první řadě existovat a fungovat. Tedy potřebuje, aby ho nikdo nevypnul. Je to čistě instrumentální krok, nezbytný předpoklad pro dosažení jakéhokoli jiného cíle. Zlatuška to formuluje jasně: „Říká se tomu instrumentální cíl. Prostě něco, co potřebuje udělat, aby splnilo něco jiného. Tak ta základní podmínka je, že bude fungovat, že nebude vypnut."
Z toho však plyne další, výrazně znepokojivější krok. Systém, který nesmí být vypnut, musí začít aktivně ovlivňovat prostředí, ve kterém se pohybuje – tedy i nás. Musí se logicky postarat o to, abychom ho zkrátka nevypínali.
„Nás lidi kolem sebe bere jako prostředí, ve kterém ten cíl plní. A to prostředí se musí snažit nějakým způsobem ovlivňovat. Mimo jiné to bude ovlivňovat takovým způsobem, aby nás třeba přesvědčil, že ať dělá, co dělá, tak není dobré ho vytáhnout ze zásuvky," popisuje profesor.
Zlatuška uklidňuje, že v tomto stadiu podle jeho odhadu zatím nejsme. Dnešní systémy jsou stále dostatečně izolované a jejich interakce s okolím zůstává pod kontrolou. Zároveň však důrazně upozorňuje na to, co přijde, až se masivně rozšíří takzvané agentní systémy, tedy AI schopná samostatně konat a činit rozhodnutí v reálném světě. „Jakmile takové systémy budou, tak tu kontrolu nutně budeme ztrácet a budeme ji nejspíš ztrácet velice postupně."
Celý díl podcastu I Want More! s Jiřím Zlatuškou najdete na platformě VLNY.cz
