Кратко:

Я не против использования LLM в любых областях, но настаиваю: они НЕ должны полностью заменять человеческий разум.

• • •

Я давно хочу здесь высказаться о больших языковых моделях. К лету 2025 года буквы #AI звучат, кажется, на всех презентациях любых компаний, #reuters отдельной почтовой рассылкой информирует о последних новостях в сфере «ИИ», а #gigachat анализирует вопросы граждан для прямой линии с Владимиром Путиным.

Мне хотелось бы представить своё виденье последствий столь активного внедрения «ИИ» и указать на риски, которые некоторыми людьми игнорируются полностью.

Определения, которые я использую в этом эссе далее:

• ИИ — ChatGPT, GigaChat, DeepSeek, Grok, Gemini и другие мультимодальные сервисы.
• LLM — большие языковые модели; это может быть ИИ, если речь идёт о генерации текста.
• Промпт — запрос, передаваемый в LLM.

Учёба.

Очевидной первой жертвой уже стал образовательный процесс. Если ранее написать курсовую работу самому, не разобравшись хотя бы немного в её теме, было едва ли возможно (написание другими не рассматривается), то теперь ИИ стал отличным способом не напрягать голову и даже пройти антиплагиат. Такого происходить не должно. Да, возможно, грантодатели и рады увидеть 20 научных работ по цене одной, а работодатели рады любым оптимизациям, приводящим к повышению прибыли. Но здесь есть риск — мы доверяемся ИИ вместо того, чтобы знать что-то самим. Как итог, в случае ошибок ИИ все «оптимизировавшие учебный процесс» студенты не смогут их исправить. Передача учебных задач ИИ — серьёзная проблема, которая может привести к очень негативным последствиям. Частично от регресса спасает то, что не все люди полностью делегировали свои интеллектуальные задачи и многим (но не большинству) действительно важно и интересно получать новые знания и навыки.

Со студентами всё относительно понятно — передача заданий в LLM вредит, в первую очередь, им самим. Я хочу всё-таки анонимно рассказать один реальный пример (меня в этом примере нет):

Некий студент уже 2 года использует платную версию ChatGPT для почти всех заданий, делая промпты достаточно умело — всё это время он даже стипендию получает. Его одногруппница не умеет создавать «хорошие» промпты и вообще достаточно средне справляется с учёбой, имеет плохие технические навыки. Упомянутый студент имеет нормальные технические навыки, иногда насмехается над этой студенткой.

Об этой истории я вспомнил не только по моральным причинам. Как-то раз этот студент делал задание, которое состояло в анализе научной статьи из списка часто цитируемых научных статей (нам дали PDF-файлы). ChatGPT подготовил ему презентацию, в которой рассказал, как борятся с коррупцией в разных странах.

Я процитирую один слайд из его презентации, предупреждаю, он сгенерирован ChatGPT, я не несу ответственности за содержание цитируемого:

ЕС: • Независимые суды • Права человека • Верховенство права Россия: • Контролируемые суды • Государственные репрессии • Власть лидера

Я не стал ничего говорить, этот слайд не вызвал каких-либо вопросов у преподавателя (всё-таки задание было пересказать чужую статью, а не высказывать мнение), никто не попросил каких-либо уточнений. Не менее 60% выступления того студента Россия сравнивалась с Европейским Союзом по вопросам антикоррупционной борьбы.

Но факт состоит в том, что в той самой статье где-то в начале два абзаца посвящены странам ОЭСР и Польше, Европейский Союз в этой статье затронут довольно слабо. После тех двух абзацев автор подробно сравнивает антикоррупционную борьбу в России, Беларуси, Кыргызстане, Узбекистане и Армении, делая акцент на сравнении России и стран СНГ. Разумеется, ничего про репрессии или власть лидера в России в статье не было.

Иными словами, ChatGPT при составлении презентации по антикоррупционной тематике вместо того, чтобы полностью положиться на предоставленный ему файл, добавил какой-то свой материал (который едва ли можно назвать чем-то объективным — это просто не соответствует заданию и теме). Более того, #ChatGPT посвятил сравнению России и ЕС 60% в пересказе вместо 3..5% в оригинальной статье.

Этот яркий пример будет тяжело воспроизвести, но я хочу просто зафиксировать, что даже при адекватном запросе LLM могут генерировать политизированный или совершенно не подходящий ответ.

Что же преподаватели?

Они слышали про ИИ, но многие ещё не научились распознавать его генерации в работах и докладах студентов.

Одна преподаватель требовала распечатывать доклады, либо показывать ей, что человек читает из документа, а не с сайта. Тот же самый студент как-то раз принёс доклад на 14 или 20 листов…. В распечатке был очевидный Markdown — с тегами, звёздочками и прочим. Это приняли.

Зато когда я делал один доклад для одной преподавательницы (она большая начальница в одном ведомстве, причём, заслуженно, она великолепно разбирается в своём деле), я решил проанализировать данные арбитражных судов, использовал все доступные инструменты поиска, создал круговую диаграмму, выписал отдельные дела с кратким объяснением, почему… И мне тогда сказали, что это всё сделано как будто ИИ, потому что никакого глубокого разбирательства (мне тогда показалось, что анализ всего опыта важнее отдельных прецедентов; был неправ, отдельные прецеденты важнее).

Но на самом деле LLM способны изобразить очень глубокое разбирательство и нафантазировать много иллюстраций. К счастью, та преподаватель знала практически всю практику (и судебную, и несудебную) по своей теме, при этом требовала от всех наиболее актуальных данных. Поэтому конкретно у неё использование ИИ «прокатывало» лишь на общих темах с добавлением чего-то своего актуального.

И всё-таки когда твою собственную работу подозревают в искусственном происхождении… Это не только обидно, но и заставляет задуматься.

Океан ситуативного недоверия

Бабушки, бегемоты и летающие бегемоты над Банком России — безобидные и забавные видео. К сожалению, те же технологии могут использоваться со злым умыслом. Я ранее писал о том, что влияние СМИ на формирование мировоззрения огромно. В случае с ИИ влияние, кажется, может оказаться похожим, а рисков может быть больше.

У мошенников (особенно в случае дальнейшего развития дипфейков, которое вряд ли возможно остановить) появятся новые возможности для манипуляций, уловок и обманов.

Я не раскрою здесь следующие темы:

• Психологические последствия от частого общения с LLM — мои личные наблюдения смешанные, бывают позитивные и негативные моменты, а мои познания в психологии ограничены одним семестром предмета, десятками часов психологических консультаций и несколькими книжками. Вряд ли я оценю этот аспект адекватно.
• Насколько владеющие ИИ компании могут влиять на своих пользователей — моих технических знаний недостаточно, чтобы оценить, способна ли условная OpenAI целенаправленно влиять на отдельного пользователя или группу пользователей. Может, да, может, нет.
• Моральные, этические, философские стороны применения ИИ.
• Почему генерируемая информация часто приемлема, а иногда совсем неверна — я не знаю, не факт, что кто-то знает.
• Перспективы создания общего ИИ — я не знаю, может, кто-то знает.

Этот раздел я назвал океаном ситуативного недоверия. Всё потому, что теперь люди, с одной стороны, могут усомниться в любой информации из Интернета. Особенно если она не понравилась и структурированно оформлена. С другой стороны, если автор комментария пишет приятные и одобряемые читателем вещи — будет ли читатель столь же насторожен?

Последствия

Я жду, когда ИИ-стартапы будут закрываться. В лучшем случае закроется немного мелких стартапов, в худшем случае закрытия и кризис будут массовыми, повторятся истории Yahoo/rambler (это всё не инвестиционные рекоммендации btw). За новостями я слежу слабо, может, уже кто-то закрывался, но мне кажется, что в среднесрочной перспективе (3..5 лет) должно появиться что-то качественно новое в сфере ИИ, чтобы вся эта история не начала стагнировать. Прогноз настолько общий и неопределённый из-за того, что я очень слабо вовлечён в новости ИИ, это далеко не самая близкая мне тема.

Последствия автоматизации экономики вообще противоречивые. Представьте, что Вы живёте в чистом капитализме в начале XIX века — Вам платят за работу, на деньги Вы покупаете то, что можете Вам нужно. Другие тоже работают, им тоже платят, они тоже покупают. А теперь представьте, что новости пишет ИИ, на заводах работают роботы, сельское хозяйство преимущественно автоматизировано, проекты все делают роботы, кассы без людей, процесс доставки товаров в теории тоже возможно автоматизировать.

В таких условиях понятно, почему трудовая теория стоимости вполне себе работает — отсутствие вложений человеческого труда = отсутствие стоимости продукта. Понятно, что деньги найти можно, можно нарастить сферу услуг, а роботизация российских производств почти отсутствует в сравнении с Южной Кореей.

Соответственно, противоречие — замена людей на ИИ и роботов в моменте является конкурентным преимуществом, но в долгосрочной перспективе приводит к падению нормы прибыли (ведь конкуренты тоже внедряют те же технологии).

Есть у ИИ немало плюсов в обычной жизни — например, это достаточно хороший переводчик (в сравнении с Google и Яндекс Переводчиками даже, тем более в сравнении с FOSS-переводчиками), применений у LLM и других ИИ много. Я не упоминал о них, поскольку, они казались мне очевидными. На всякий случай теперь упомянул, что о плюсах я тоже помню.

Ну и самое печальное последствие внедрения ИИ — это очередное ускорительство. Весьма вероятно, те, кто использует ИИ, часто будут «продуктивнее» тех, кто делает всё самостоятельно. Будет очень грустно, если не использующие ИИ люди «не впишутся в рынок». Я, например, не готов довериться аудиторскому заключению, которое преимущественно опирается на анализ ИИ. Особенно если это был аудит компании-разработчика ИИ.

———

И всё-таки. Экономика объективна, она всё переживёт. А вот за людей, которые все задачи оставляют ИИ (особенно — облачному), мне страшно. Конфиденциальность, критичность мышления, умения… Они помогают. Если нам придётся жить после тотального уничтожения всего и вся, возможно, у нас уже не будет возможностей запустить где-либо LLM. В ряде мест в обычной жизни ИИ тоже не поможет. Да и страшно приходить на приём ко врачу, который спрашивает у ИИ, что с пациентом.

———

#размышления #искуственный_интеллект #общество

zvezdo4ёtiя (@zvezdochetia@idealists.su)

Влияние СМИ на формирование мировоззрения

^idealists.su

Airstrike of the Raindrops

#photography #canon #highiso

#rainphotography #stoneandwater #puddleart #raindrops #texturephotography #streetdetails #waterreflections #earthtones #naturecloseup #macroshot #stilllifephoto #zenvibes #moodytones #wetstone #momentofcalm

A much nicer scan of this one.

Aspen. (Populus tremula).

A4 solvent print on Kobeha Graphilo 80gsm.

#Aspen #Deciduous #Flora #Forest #Leaf #MastoArt #PrintMaking #Tree

#DeepSeek #userscript #javascript #NeuralNetwork #виброкодинг #MastodonTools #вдогонку

...И будьте предельно осторожны, когда просите (или тварь предлагает) исправить или дополнить то, что уже хорошо работает: у меня нет желания разбираться, но выдал он мне похожую на правду функцию (ну, т.е., как будто просто if заменил на if-else)...

Но скрипт после этого не запускался! 😡

С зайчиком Asper-X на сумке - каждый ракурс будто обложка его трека....

Если вдруг увидите кого-то с ним на сумочке - можете идти знакомиться. Зная что у него и так не много слушаталей, вероятность что это я очень высокая

А еще ягодок собрали. Ням.

#бложиг

RIP gpu-free-ai , which was taken down from PyPI: pypi.org/project/gpu-free-ai/

In its short life, we explored the possibilities of an all-garbage future, but the present was not ready for a package that explicitly implements the Features that "AI" implements implicitly, such as directly posting any keys in your environment directly to pastebin. Even though these Important Features were opt-in gated behind an environment variable, I suppose it is against the rules to upload Literal Malware to PyPI even if it is performance art.

The project remains at github.com/sneakers-the-rat/gp…

#SciPy #SciPy2025

Шааашлычинг!

#бложиг

sorry everyone, my third wish from the genie was to make the world's electrical standards weirder.

south america is now using 70hz 40v AC, france & belgium are strictly DC outlets (no AC), and apple products are all on 3.3v USB. AA batteries are now 9v, and 9v batteries are still called that but they provide 6v.

Сегодня ходил на Expo 2025.
TLDR: я крайне разочарован.

Это моя первая Всемирная выставка, и я ждал если не былого эпохального величия, где Эйфель по приколу ставит мачту освещения на максималках, а СССР в ночь открытия вкорячивает рабочего с колхозницей на крышу, чтобы павильон был длиннее, чем у Германии, то хотя бы каких-то новых технологий, открытий, и чего-то необычного.

А там — нууу… Странного вида музыкальный фестиваль, где забыли включить музыку.
Толпы (реально ТОЛПЫ) народу ходят кругами, и иногда стоят в очередях.

К общей организации вопросов ноль: японцы умеют работать с большими группами людей, и в этом плане всё сделано прямо хорошо. Очереди понятно разруливаются, все маршруты указаны, ответственные за каждый сегмент — назначены и присутствуют, задержки есть, но они минимальны, и обусловлены исключительно количеством людей. Тут жирный лайк!

Но уже в части прохода в павильоны — то ли я тупой, то ли меня просто кинули. Билет на вход ты покупаешь, день прихода бронируешь, но чтобы куда-то попасть внутри (на шоу всякие) в большинство павильонов требуется регистрация. Регистрация тоже через сайт, и активируется через 10 минут после отметки на входном гейте.
Я не смог зарегистрироваться тупо никуда 🤷‍♂️
Просто «Всё занято. На сегодня забронировано всё, везде, и на весь день», и это с учётом того, что приехали мы прямо с утра.

Ну и без этих особо красивых павильонов можно постоять в очереди и попасть в павильоны стран. И вот тут я максимально расстроился.

Скажем, не то, чтобы я был сильно удивлён тем, что Непал привёз показать три ковра (красивых) и десятка два разных статуэток Будды, не знаю, что там ещё есть в экономике Непала, кроме продажи билетов на Эверест.

Ну или ирландцы показали фоточки моря, костюмы, и танцы. Тоже не уверен, что они ещё что-то сильно значимое придумали. Картофельный голод и теракты в Лондоне?
Ну, сейчас вот налоговый кодекс хороший изобрели, но его сложно показать.

Но вот, скажем, у Кореи реально очень большой, прямо огромный, по меркам выставки, павильон, мы простояли минут сорок в очереди, а внутри оказалось 3 (три) пустых, сука, зала! В первом была сельская дискотека: лучи цветомузыки под невнятный тыц-тыц и нарезанные в звуковом редакторе голоса, во втором — три ящика, которые запускают мыльные пузыри (я не шучу, это были буквально мыльные пузыри из трубок, торчащих из ящиков на потолке), а в третьем — кинотеатр, где нам показали корейских школьниц.
ВСЁ. И это у страны, которая строит самые огромные в мире корабли, один из лидеров по производству микроэлектроники, химия, медицина, всё, что угодно! Но нет, школьницы и мыльные пузыри.

Цветомузыку объяснили тем, как «слова направлены в будущее, и надо это прочувствовать», мыльные пузыри — рассказ на тему «Вот, смотрите, в них — водяной пар! А вода — основа жизни!», очень новая мысль, да, стоит ради этого выставку делать. Кино про школьницу же — просто кино про школьницу. Дед написал мелодию на фортепиано, она через двадцать лет её нашла, и сыграла на синтезаторе. Ура! Память!

У меня было просто лицо «чииииивооо, блядь?!».

Япония, принимающая страна, имевшая бесконечное время на подготовку, все возможные ресурсы, страна, которой тоже есть, что показать, показывает с картинками, что в Наре живут олени, а в горах Нагано — медведи. Ну… Не, ну они там живут, конечно, но почему было об этом просто в твиттер не написать?

Германия показывает огромный немецкий ресторан. Хоть не мечеть, и то ладно.

И так у всех! Не стали стоять в длиннющей очереди в павильон США, но по ощущению от выставки, я почти уверен, что там внутри — фотки Гранд каньона, и мага-кепка в масштабе 50:1.

Также есть несколько общих, «технических», павильонов, типа modern robotics и future air mobility, и там даже показывают прикольные штуки, но экспозиция сделана абсолютно идиотски, во future air стоит летающая пепяка от Joby Aviation, но с ней можно только сфоткаться (внутрь забраться для фото можно по записи, которой нет), из материалов — только реклама, вообще ничего технического. В павильоне про роботов — нашёлся офигенный робот, который сам бегает по стенам и умеет неинтрузивно проверять коммуникации — сканирует проводку, трубы, всё, что там есть. Ну крутейшая же штука! Но на технические вопросы сотрудники павильона только отвечали «ой, я не знаю, я просто стою тут и показываю, как он по стене бегает». Очень странно.

Ну и Россию ожидаемо не позвали, но это тот случай, когда оно, пожалуй, и к лучшему.

Тут, конечно, вся выставка с посылом «экологии» и прочего, но я ждал, что покажут какую-нибудь сверхэффективную солнечную батарею, а не фото оленя и рассказ о том, как важна вода для жизни.

В общем, я в расстройстве и недоумении.

#дыбр #expo