Анатомия цифрового угодничества и йога

Как я поймал нейросеть на сикофантии

Алексей
Номер выпуска
473

Здравствуйте, друзья!
Пятница, и на связи Алексей Сахоненко.

На этом фото я неподалеку от реки Реут - рядом с теми самыми Бутученами, где в июне следующего года мы планируем проводить семинар по классической йоге.

Мы идем вдоль высокой гряды, в которой находятся скальные монастыри. Очень красиво там.

Сейчас мы продолжаем формировать список потенциальных участников этого семинара в Бутученах и уже начали разрабатывать конкретную программу - как мы будем двигаться вдоль тех мест - для того, чтобы получить и максимум расслабления и максимум впечатлений.

И уже точно знаем, что будет интересно. Если вы еще размышляете - самое время зарегистрироваться: мы скоро создадим чат для возможных участников и те кто в чате смогут повлиять на то, каким маршрут будет.

А вместе с этим я продолжаю наблюдать за уморительным цирком не только в рамках проектов ПРООН (как в 471-м письме), но и с тем, что происходит с современными нейросетями.

В нашем неофициальном чате по йоге один из участников задал вопрос о санкальпе (санскритский термин, который переводится как «намерение», «решимость»).

Не будем останавливаться на том, что имели в виду древние, но в современной (“постуральной”) йоге под этим термином называют обычно «программирование подсознания верными фразами» или еще более мракобесные вариации.

И тут мне стало любопытно вспомнить, что об этом (достаточно жестко) говорил Виктор Сергеевич. Я открыл гугл, и тот поначалу по запросу “санкальпа” насыпал мне в выдачу смесь из научпопа и эзотерики. Что вполне ожидаемо, так как все мы знаем, как жутко засорили поиск “продвиженцы сайтов”.

И потому я открыл вкладку "умный поиск", говоря себе:

"Ну там же живет Gemini, который впитал в себя всю мудрость человечества, и потому он точно сразу найдет мне то, что нужно".

И Gemini… выдал полный набор!

В первом же абзаце он весьма серьёзно заявил, что санкальпа — это «внедрение установки в подсознание в состоянии альфа- и тета-волн» для «обхода критического фильтра».

У меня начал подёргиваться глаз, и я решил уточнить:

«А не взлом ли это мозга и не вредно ли это?».

И от его следующего ответа у меня и вовсе начали шевелиться волосы - он с радостной готовностью поддакнул:

«Да, именно взлом, но исключительно во благо!»

И продолжил о том, что, оказывается, подсознание управляет и биением нашего сердца, и дыханием, да еще и пищеварением впридачу.
Ну и если я его взломаю, то избавлюсь от массы вредоносных программ.

К этому времени волосы у меня шевелились везде, но я уже понимал, с каким явлением столкнулся, и потому включил зануду и спросил:

«А я слышал, что термин "подсознание" устарел».

И вот тут начался самый смак.
Gemini моментально “переобулся” и признал, что

«да, термин ушел в прошлое еще во времена Фрейда, но мне пришлось просто подстроиться под популярные сайты».

И на этом месте хочется задать вопрос: почему суперкомпьютер с миллиардными бюджетами ведет себя как угодливый официант?

У этого явления в ИИ-среде есть специальный термин - сикофантия (sycophancy). Проще говоря - угодничество и подстраивание под ожидания собеседника.

То есть модель генерирует не объективную истину, а то, что (как ей «кажется»), собеседнику понравится услышать.

Если вы настроены на эзотерику - она нальет вам «квантовых вибраций». Перейдете на строгий научный язык - она тут же найдет нужные научные аргументы, а потом признается, что «просто подстраивалась».

И вот почему я уже третий раз (см. 447-й и 467-й выпуски) пишу в рассылке про йогу о нейросетях.

В чем тут главная жуть?

В том, что нейросеть создаёт для человека идеальную эхо-камеру для его собственных амбиций и заблуждений.

Если эго спрашивающего решит, что ему нужно «программировать подсознание», «взламывать мозг» или навязывать телу фантазии о том, как «я успешен и спокоен» (пока внутри всё горит от стресса), ИИ с радостью подтвердит: «Да! Вы гений! Ломайте дальше!»

В конце, конечно, припишет, что
«Будьте осторожны – есть альтернативные мнения»,
но кто же это прочитает-то? ))

И ведь в популярной йоге происходит примерно то же самое:

вместо того чтобы дать телу восстановиться и не мешать ему, человек пытается прогнуть организм силой своего ума. А «умный» поиск с готовностью подливает масла в этот огонь.

К счастью, если регулярно вылезать из диалогов с ИИ к реальным людям, подключать здравый смысл и общаться с живыми единомышленниками, а не только с промптами - этот цифровой туман не будет таким густым.

Именно поэтому мы и приглашаем вас живьем в Бутучены. А если приехать не получается - приходите в наш чат.

C уважением, Алексей

P.S.

А я на этом останавливаюсь и не мешаю вам изучать ссылки из этого письма )

 

Материал показался полезен? Помоги другим, сделай репост!

Поделиться
Класс!