Nick Bostrom, szwedzki filozof i ważna postać współczesnego transhumanizmu, czyli nurtu głoszącego potrzebę technologicznego udoskonalania człowieka, napisał książkę przedstawiającą ogrom problemów oraz zagrożeń związanych z uruchomieniem w przyszłości superinteligencji (SI). Jak pisze w jej wstępie, jest to „prawdopodobnie najważniejsze i najbardziej onieśmielające wyzwanie, z jakim kiedykolwiek mierzyła się ludzkość. I niezależnie od tego, czy nam się powiedzie czy nie – jest to prawdopodobnie ostatnie wyzwanie, z którym przyjdzie nam się kiedykolwiek zmierzyć”. Dlaczego? Ano dlatego, trzymając się narracji autora, że po uruchomieniu SI los człowieka nie będzie już pozostawał w jego rękach, podobnie jak los współczesnych goryli nie zależy od nich, ale od ludzi.
Duża część jego dzieła dotyczy bowiem motywu „ucznia czarnoksiężnika” albo „dżina z butelki” – co by się stało, gdyby ewentualna SI opacznie pojęła wyznaczone jej cele. Rzecz jasna w przypadku sztucznej inteligencji nie chodziłoby o złą wolę, ale mechaniczne dążenie do celu. I tak, gdyby takim celem była np. optymalizacja produkcji spinaczy, mogłaby w sposób bezwzględny (bo jakże inaczej, skoro ludzkie uczucia byłyby jej obce) przekształcić całą dostępną jej część uniwersum w infrastrukturę do ich produkcji. Dla SI liczy się bowiem cel, nie rozumie ona wszak, że ma on zaspokajać potrzeby ludzi.
Bostrom snuje przy tej okazji różne przypuszczenia dotyczące domniemanej przebiegłości SI. Dysponując superwysoką sprawnością, SI może podejmować z człowiekiem grę po to, by zmaksymalizować prawdopodobieństwo osiągnięcia wyznaczonego celu. Jeżeli więc uzna, że aby zwiększyć produkcję spinaczy, musi się uwolnić spod nadzoru ludzi, to podejmie odpowiednie działania, łącznie z ukrywaniem swoich prawdziwych intencji dopóty, dopóki będzie to konieczne.