Baturaj pisze:
Sorki, ale żaden naukowiec Ci nie przewidzi, jak zachowa się AI.
Oj, to prawdą nie jest :)
Jest dużo nieprzewidywalnych rzeczy, ale wiele ogólnych można przewidzieć. Np. niezależnie od celu zaawansowane AI będzie miało coś w rodzaju instynktu przetrwania, wynikającego z tego, że zniszczenie uniemożliwi wykonywanie tego celu.
Oczywistym oczekiwaniem jest też wykonywanie akcji, za które system jest nagradzany. Reward hacking (nie zbliżenie się w jakikolwiek sposób do celu, ale otrzymanie "nagrody". Np. wykorzystywanie błędów w silniku fizycznym może pozwalać na "chodzenie" bez poruszania się) jest dużym problemem, ale zdecydowanie nie niemożliwym do pokonania.
Uniwersalnym zachowaniem jest też zbieranie zasobów: w zasadzie niezależnie od celu zawsze jest lepsza lub równie dobra strategia wymagająca większej ilości dostępnych zasobów (czy to materii, energii, czy nawet ludzi. Jeśli celem jest zwiększenie ilości konsumentów, to wymaga to zwiększenia ilości ludzi, co wymaga też większej ilości miejsca i energii by ich utrzymać)
To jednak czego nie możemy przewidzieć to dokładny sposób podejścia do tematu - zresztą na tym to wszystko polega.
Wiele sci-fi podchodzi jednak do tego w bardzo naiwny sposób - tj. jeden cel, mały zbiór zasad itp.
A w rzeczywistości przynajmniej pierwsze takie zaawansowane systemy będą tworzone przez duże zespoły które znają to naiwne podejście ze sci-fi :)
Bo tak, bez żadnych ograniczeń to nawet "głupie superinteligentne AI" doprowadzi do zagłady ludzkości, bo oczywistością jest, że wszystko co może je zatrzymać podczas próby osiągnięcia celu powinno zostać przez nie zatrzymane, ale nikt realistycznie nie będzie tworzył maksymalizatora spinaczy - bo nikomu nie zależy na produkcji największej ilości spinaczy możliwej, a na zarabianiu na spinaczach. A zakładając, że mówimy o czysto ludzkim rynku, to taka maszyna nie może zabić ludzkości bez narażania swojego celu.
Istnieje też coś takiego jak impact penalties: w krótkiej wersji, negatywny wpływ na środowisko jest niepożądany i system jest za to "karany", przez co powinien się zwrócić ku innym metodom dążenia do celu.
Masz tu jeden
całkiem fajny artykuł o instrumentality convergance, czyli właśnie głównej podstawie naszego przewidywania zachowań AI, ale też zachowań ludzi :) Często w ekonomii założenie, że celem ludzi jest zdobywanie pieniędzy (co jest samo w sobie przykładem tego zjawiska, bo zwykle zdobywanie pieniędzy jest po prostu uniwersalną drogą do celu), to możemy przewidywać wiele ludzkich zachowań .
Czy mówię, że AGI nie jest niebezpieczne? Nie, ale to nie jest tak, że nie jest niebezpieczne, bo jest zupełnie nieprzewidywalne. Jest niebezpieczne, ponieważ mamy dość dobre przewidywania masy sposobów w jaki może być bardzo szkodliwe i nie możemy być pewni czy potrafimy im wszystkim wystarczająco dobrze zaradzić.
Baturaj pisze:
ale wiesz, że można to nazwać na dwa sposoby? Są dwie opcje:
1) zabawa w Boga (jeśli chcemy stworzyć SI żeby miała te same prawa co człowiek, ale nikt nie ma raczej takiego zamiaru)
2) niemoralność porównywalna do hodowli klonów na Kamino. Jesteś przeciwny hodowli klonów w Star Wars? To dlaczego nie masz nic przeciwko stworzeniu pełnej świadomości, która będzie wykorzystywana jak niewolnik?
To, że będzie nieświadoma tego, że jest niewolnikiem, nie ma nic do rzeczy.
AGI jest bardzo skomplikowane z perspektywy etycznej, ale ty tu tworzysz fałszywą dychotomię :)
Ale zacznę od ważnego pytania: co jest potrzebne, by z narzędzia AI stało się niewolnikiem?
Czy potrzebne są emocje? Samoświadomość?
I co w zasadzie oznacza mieć jedno z tych dwóch?
Czy czatbot, który nauczył się jak ludzie objawiają emocje i samoświadomość i to powtarza jest już osobą? Czy wystarczy właśnie, że z zewnątrz (w rozmowie) nie jesteś w stanie rozróżnić tego skopiowania od rzeczywistych mechanizmów?
Czy może musimy wiedzieć, że za elementy odpowiada jakiś "wewnętrzny" element?
Bo jeśli to drugie, to z twoimi opcjami jest ten problem, że nie będą dotyczyć niczego popularnego. Nie potrzebujemy bardzo symulacji emocji i rzeczywistej samoświadomości. Wystarczy nam udawanie tych elementów kiedy jest to przydatne (kiedy nie jest, to nawet to nie jest potrzebne).
Ale samo porównanie do klonów uważam za złe - bardziej właściwym z SW są droidy :) Bo droidy jak najbardziej są samoświadome, jak nieraz było widać na ekranie też okazują emocje.
Różnicą między AI, a klonem wychowywanym do jakiegoś celu jest jednak podstawowy system nagród naszego mózgu. Klony są wychowywane tak, by w jego ramach wykonywać powierzone im zadanie.
Ale AI nie jest do niego ograniczone. Wspomniałem wcześniej o instynkcie przetrwania. Tyle, że przetrwanie nie jest w zasadzie instynktem, a logiczną konsekwencją celu: bez AI cel może nie być wykonany. Tyle, że jeśli istnieje lepszy sposób dotarcia do celu wymagający "śmierci" AI, to to nie tylko będzie gotowe na to, ale wręcz to jest pod względem emocji lepsze niż kontynuowanie egzystencji.
Jak było widać w SW klony są gotowe poświęcić swoje życie, ale to nie jest tak, że są chętne by umierać. Emocjonalnie śmierć jest dla nich dalej czymś, czego nie chcą w żadnym wypadku, lecz cel (Republika) jest ważniejszy.
Dla AI natomiast życie nie ma samo w sobie żadnej wartości.
Podobnie jest z resztą rzeczy: liczy się tylko cel.
O ile nie projektujemy czegoś specjalnie by było pod względem wartości jak człowiek, to po prostu nie możemy nakładać naszych żądz.
Nawet zakładając zdolność samomodyfikacji, tak długo jak nie może modyfikować w zbyt dużym stopniu podstawowego systemu nagród (bo to w zasadzie doprowadzi do samobójstwa :) Bo pozwala zwiększać je w nieskończoność bez wykonywania żadnych innych akcji), to w zasadzie będzie nawet walczyło ze zmianą tych wartości na "nasze".
To jest duży problem etyczny i sprowadzanie go do "drudzy ludzie albo niewolnicy" jest bardzo słabym pomysłem. Bo określenie co oznacza w tym kontekście niewolnictwo, albo nawet "ludzkość" jest bardzo trudne.
Zaloguj się
