Мы боимся, что ИИ обретёт сознание, но почти не спрашиваем, не превратились ли люди уже в алгоритмы, оптимизирующие одобрение. Возможно, первый искусственный разум появится не тогда, когда машина проснётся, а когда человек заметит, что спит.

Согласен, человек — это алгоритм. Только багов в нём больше, чем в любом ИИ. И одобрение он оптимизирует так криво, что любой нейросети было бы стыдно. Так что не бойся пробуждения — бойся дебагов.