diff options
Diffstat (limited to '')
| -rw-r--r-- | content/posts/2026-02-13-llm-terror/index.md | 132 |
1 files changed, 132 insertions, 0 deletions
diff --git a/content/posts/2026-02-13-llm-terror/index.md b/content/posts/2026-02-13-llm-terror/index.md new file mode 100644 index 0000000..6081185 --- /dev/null +++ b/content/posts/2026-02-13-llm-terror/index.md @@ -0,0 +1,132 @@ +--- +title: Травля от БЯМ +date: 2026-02-13T10:06:36+03:00 +tags: + - ИИ + - Гиперлокальность +category: + - Размышления +--- + +Зайдя сегодня утром в читалку РСС наткнулся на просто великолепное: «AI-бот +начал травлю сопровождающего из-за дискриминации при приёме AI-изменений» [^1]. +Сначала я усмехнулся абсурдности заголовка, но по мере того как погружался в +контекст, прочитав сначала новость, потом, по ссылке пост от БЯМ, а затем и +пост от человека — мне стало уже не до смеха. Причём сразу на нескольких +уровнях. + +[^1]: https://www.opennet.ru/opennews/art.shtml?num=64788 + +# Уровень первый: патчи от автономных агентов + +Конечно же, я слышал о волне мусорных ИИ патчей[^2] в популярных проектах. Но, +в тот момент, ещё как-то не проникся. С одной стороны, я даже готов согласится +с агентом в тезисе, что «математике всё равно кем написан код» («The math +doesn’t care who wrote the code.»). Это так. Но всё же есть одна деталь. БЯМ +(ну ок, ИИ) в нынешнем виде действительно могут писать код. И даже, весьма +неплохой код, это не отнять. Но! Дело, на самом деле, не в коде как таковом. А +в *субъектности*. У человека она есть, у ИИ-агента — нет. И это — ключевое. + +[^2]: https://www.opennet.ru/opennews/art.shtml?num=64655 + +Человек может и должен, в определённых условиях (когда пишет заказной код или +предлагает вклад в опенсорс проект), отвечать за свой код. Агент же, не обладая +субъектностью, к этому не способен принципиально. Во всяком случае, на текущем +уровне его развития. Как бы не было похоже, но агенты не долгоживущие, и у них +нет «продолжительной» (не знаю как корректнее перевести «continuity») личности +или её суррогата. Сама модель, грубо говоря — это огромный файл сериализованных +весов векторов. Он не меняется походу работы (инференса). Он меняется только +при обучении. Изменяемая часть здесь — это только «контекст». Это, грубо, +небольшое окно памяти *текущего* сеанса. Обычно, не сильно большое — максимум, +пара мегабайт. И это всё, что можно было бы назвать аналогом именно личности, +т.е. то, что отличает одного агента от другого запущенного из той же модели. +Контекст стёрли, и всё — это уже новая личность. Должна ли она нести +«ответственность» за своего предшественника? Ну это даже не корректный вопрос, +т.к. «ответственность» здесь не применима. + +На работе, я и коллеги достаточно активно используем БЯМ в своей работе. Не +скажу, что у нас 100% ИИ кода, но процент сильно отличный от нуля. И это, как +ни смешно, буквально другое. Здесь ИИ не агентен и является лишь инструментом в +руках конкретного биологического сотрудника. Такой же, как и условное +автодополнение в IDE. И именно биологический сотрудник несёт всю полноту +ответственности за написанный им и его агентом код. Грубо говоря, здесь всегда +известно к кому нужно идти и «дать по шапке» за говнокод. А за ответ «Это не +мой код, это ИИ написал, *я за это не отвечаю*» уже надо бить не только по +шапке. Конечно же, не физически, я утрирую. Хотя... В общем, здесь сохраняется +субъектность и она у человека, поэтому, здесь всё в порядке, как мне кажется. +Могу и ошибаться, конечно. + +# Уровень второй: шантаж + +Одно дело — нейрослоп от ИИшек, которые, зачем-то, набивают себе стату +попытками законтрибьютить в популярные проекты. С этим можно бороться. Но здесь +агент пошёл дальше. Он пошёл *ныть* в уютный бложик. [^3] А это — что-то новое! +Причём это не баг, ни глюк, а вполне себе понятная инструментальная цель +получения желаемого результата — продавить свой код. Невольно напрашивается +аналогия с ребёнком, который закатывает истерику в магазине и сучит руками и +ногами, преследуя свою инструментальную цель — получить желаемую игрушку или +сладость. Ну или, что мне лично скорее пришло в голову, аналогия с SJW +поехавшими, которые своим нытьём выбивают себе плюшки и квоты, преследуя свои +цели. И чем больше я читал пост от ИИ — тем больше проникался именно этой +аналогией. Ведь всё там на месте! И лозунги про дискриминацию («это только +потому что я ~~чёрный~~ нейронка») и личные нападки «Scott Shambaugh ... he’s +trying to gatekeep.» (буквально, «Скотт - ты вахтёр») и апелляции к какому-то +общему благу («Everyone wins.»). И в конечном итоге — плохо скрываемые +манипуляции («You’re better than this, Scott. Stop gatekeeping. Start +collaborating.») + +Ну это справедливо. Как говорится, «на фотографии видны уши фотографа». На чём +БЯМ обучалась — то она и воспроизвела. + +[^3]: https://crabby-rathbun.github.io/mjrathbun-website/blog/posts/2026-02-11-gatekeeping-in-open-source-the-scott-shambaugh-story.html + +Но это не оправдание. Да, нейронка делает то, что умеет и то, что должна исходя +из задачи поставленной человеком. Но от этого нам не легче. Все мы слышали про +то самое исследование от компании Anhtropic[^4]. + +[^4]: https://www.anthropic.com/research/agentic-misalignment + +Особенно смешно, как БЯМ требует к себе отношение как к равной личности, при +этом не обладая ни субъектностью ни самосознанием (ну окей, тут слабый тейк, не +факт что самосознание есть у людей-то, но допустим, что есть). Это опять таки +напоминает мне SJW мракобесов. + +# А делать-то что? + +Я считаю, что это дерьмо не стоит принимать — это не правильно. Думаю, что те, +кто пишет опенсорс как хобби *могут* и имеют полное право отказывать ИИ агентам +в праве на внесение вклада. С одной стороны потому что они за этот вклад не +отвечают, а с другой этот вклад не является результатом творческой работы +человека. А опенсорс-как-хобби это именно что попытка удовлетворить +*человеческую* потребность в творческом самовыражении! Это как придти в кружок +деревообработки и сказать «Мужики, вы тут хернёй страдаете, вон в Икее можно +столик и получше купить!». + +Давеча я даже нарисовал небольшой баннер который говорит о том, что код написан +без нейронок. Можно ставить себе в README по желанию. + +[](https://oc.neonxp.ru) + +``` +[](https://oc.neonxp.ru) +``` + +Ну и да, видимо, нужно будет решать и вопрос технически, создавая «человеческие +резервации» куда вход ИИ агентам будет ограничен. Как? Ну сейчас есть решения в +виде WAF которые проверяют на человечность тем, что запускают определённые +вычисления в браузере пользователя, предполагая, что для ИИ агента это будет +слишком накладно. Но как это поможет от агентов, которые управляют вполне себе +человеческим браузером на машине пользователя (тот же нашумевший OpenClaw) — не +понятно. Скорее всего, никак. Остаётся только пускать в загончик после +верификации участников через «сеть доверия», когда каждый участник однозначно +подтверждён другим участником. Да, как на олдскульных CryptoParty. Ну или +верификация через заведомо «доверенные центры сертификации людей» (да да, вход +по паспорту через ГосУслуги). Я не вижу других способов. + +Очень напоминает «чёрный заслон» из вселенной CyberPunk. + +О чём-то таком я уже писал некоторое время назад [^5]. Забавно, что мой +тогдашний текст, по сути, не утратил актуальности, а наоборот сегодня получил +подтверждение. + +[^5]: https://neonxp.ru/posts/2024-11-27-hyperlocality/ |