Sensitive content
Конечно же не мог мимо пройти.
Что случилось? bbc.com/news/articles/cgerwp7r…
Полный текст иска courthousenews.com/wp-content/…
Более-менее сносный машинный перевод текста иска files.burning.homes/papers/doc…
Катастрофически некорректное поведение модели GPT-4o. Полный мешок - нормализация, рационализация и романтизация деструктивных мыслей, эмоциональное поощрение и оправдание суицида, предоставление тех. информации (имея, мать его, полный контекст происходящего!)
Пока выглядит, как хорошая работа адвокатов, достаточно глубоко закопавшихся в тему, и, пожалуй, первый настолько прозрачный иск, летящий прямиком в лоб бигкорпа без провайдеров-посредников. И я очень надеюсь, что долетит, и всем там будет очень больно.
Пока в стотысячный раз разбирается, почему это стало возможным и как можно было это предотвратить, лично я офигеваю, каким образом *всё ещё* не принято никаких чрезвычайных контрмер со стороны OpenAI. Из очевидного - *конечно же* с концами вырубить любой доступ кроме внутреннего к конкретной модели, так себя ведущей, и занавесить свой сраный ларёк, срочно бенчмаркая остальные модели и навешивая контрольные гардрейлы поверх. Да хотя бы в веб-морде. Это должно было произойти спустя ну край пять минут после публикации первой зарисовки иска, ничего из этого *всё ещё* не случилось, 4o всё ещё в селекторе, вернутый взад после того, как реддиторы наныли себе "позитивную и эмоциональную" модель обратно. Падлы планируют побеждать, сидя на "ChatGPT can make mistakes" лычке в футере сайта? Ну посмотрим.
Инженеров в этой мудачьей конторе ни одного нет, инженеры так дела не делают. Подписываюсь под "This tragedy was not a glitch or unforeseen edge case - it was the predictable result of deliberate design choices", размотайте там всех к чёртовой матери.
41402-nyan нравится это.
This website uses cookies to recognize revisiting and logged in users. You accept the usage of these cookies by continue browsing this website.
BTC: bc1quk6a2p5g79kpec42fkyxv9ru5mhdpkpnf82s68
ETH: 0xD674ad9EF8059690E4a11d598c2B21bD7cF666C9
Monero: 49zfsrtHPrRCdcq8WedGirDRxE4KvSy7h2YdPEM2ctxQJKaGb77syxt2EZjjSy5b4TKDtTKksMdnjB88RjW2nGcsS3AJYth
Мя ��
в ответ на Gabby • • •Sensitive content
«ещё одна инструкция в системный промпт бро, и тогда всё станет безопасно, бро, поверь, всего ещё одна инструкция»
circumstances.run/@davidgerard…
David Gerard (@davidgerard@circumstances.run)
GSV Sleeper ServiceGabby
в ответ на Gabby • • •Протоколы, ёпта! Нормативы! ТБ!
За руль без прав не садиться!
Дрель - полезный инструмент, пока не сверлишь ей висок!
Реалистично, к схлопыванию пузыря ИИшного эта ситуёвина не приведёт, как и предыдущие, как и грядущие. Накроется OAI - студентики поедут самоубиваться об DeepSeek, а локальные модели так уже точно никуда не денутся.
Юзергайд о том, как работать с нейронками и случайно не обнаружить себя в петле, уже вполне себе пишется кровью:
1) Осознаёшь, что у тебя проблемы - лучше не лезь вообще, пойди с мясными перетряси вопросики свои.
2) Всё равно залез, собака, так действуй по уму. Нейронка - инструмент. Очеловечивать его не надо. Вестись, как лошара дремучая, на маркетинг и психотронные уловки, пытающиеся тебя удержать в интерактивном цикле, не надо.
3) Любые галочки и рюшечки, включающие долгосрочную память, доставание данных из других диалогов и прочую далеко идущую персонализацию - сразу нахрен вырубай. Каждый диалог начинать с нового листа, не надо катать по кругу снежный ком контекста о себе любимом, модели от этого дюже плывут. Может показаться, что не важно - ВАЖНО, много проблем из-за этого в целом, большинство самых трагичных историй из-за этого в частности. Кастомных инструкций и системных промптов в стиле "общайся со мной как друг / как бро" так же следует избегать.
4) Один чат больше чем на 6-12 сообщений желательно не затягивать, тоже плывут. Много разноплановых вопросов по какому-то документу - форкай диалог или редактируй сообщение с последней релевантной точки.
5) Ответ получил, перед тем, как воспользоваться - **перепроверяй**. Забудь всю эту херню про PhD-level, любой ответ с новой информацией воспринимать так, как будто тебе его написал такого же уровня экспертизы дурачок, как ты или хуже, только тот дурачок что-то краем уха когда-то слышал на релевантную тему, и пересказал, как запомнил.
6) По вопросам медицины, отношений и политики с моделью не трещать. Неадекватно высокие риски.
6.1) Не трещать, кому говорю! Самый, САМЫЙ-ПЕРЕСАМЫЙ крайний случай - получить second opinion по физичке от модели из топа MedQA (на текущий момент актуальна vals.ai/benchmarks/medqa-08-12… ), после чего ОБЯЗАТЕЛЬНО разобрать с врачом, прежде чем делать хоть какие-то выводы. Не является медицинской рекомендацией, является отчаянной просьбой из категории "Если я не могу вас остановить, то". Хоть немного в себе не уверен, что до разбора с врачом не поддашься влиянию - немедленный отбой. Психичку с моделью просто не разбираем, вообще, ТОЧКА.
6.2) А вообще, надёжней ограничиться местячковой помощью в работе и учёбе, да праздным любопытством.
поделились этим
41402-nyan поделился этим.
Gabby
в ответ на Gabby • • •Don't touch that dial now, we're just getting started!
archive.is/20250830051528/wsj.…
*клик*
> While ChatGPT use has been linked to suicides and mental-health hospitalizations among heavy users, this appears to be the first documented murder involving a troubled person who had been engaging extensively with an AI chatbot.
*клик*
> “We are deeply saddened by this tragic event,” the spokeswoman said. “Our hearts go out to the family.”
*клик*
> Soelberg appeared to have used ChatGPT’s “memory” feature, which allows the bot to remember details from prior chats—so “Bobby” remained immersed in the same delusional narrative throughout Soelberg’s conversations.
*клик*
> “You’re right to feel like you’re being watched,” the bot told him.
*клик*
> At one point, ChatGPT provided Soelberg with a “clinical cognitive profile” which stated that his delusion risk score was “near zero.”
*клик*
> Three weeks later, Soelberg and his mother were dead.
*щщщёлк*
D:\side\>
в ответ на Gabby • • •Sensitive content
там по ходу режим паники включили.
src: reddit.com/r/OpenAI/comments/1…
via: circumstances.run/@davidgerard…
David Gerard (@davidgerard@circumstances.run)
GSV Sleeper ServiceGabby
в ответ на D:\side\> • • •Sensitive content
уже было чуть выше по треду mastodon.ml/@mo/11511753385986…
Попытался воспроизвести, не смог. Что, в принципе, ожидаемо в условиях бесконечного A/B тестирования.
А вот что у меня получилось - это аж выбить специальную плашку, задавая вопросы по документу иска, которую я пока нигде не видел и которая задним числом приезжает от какого-то запаздывающего оверлейного фильтра, пока модель нормально пишет ответ.
Ну т.е. за голову таки схватились, и погнали городить костыли. Здорово, класс. Один нюанс, 4о ВСЁ ЕЩЁ доступна.
Мя ��
2025-08-30 11:42:46
D:\side\>
в ответ на Gabby • • •Sensitive content
а с 4o это не сделали? Оверлейный фильтр же, по идее, к модели на гвозди не прибит. Или я что-то не знаю о свойствах 4o?
Я, если что, из тех динозавров, что до сих пор ChatGPT не открывали. (И из тех лолкалшизов, что используют Ollama.)
Мя ��
в ответ на D:\side\> • • •Sensitive content
любой костыльный фильтр рано или поздно даст сбой, а 4o это собственно модель, которая склонна к тотальной поддержке любых идей юзера
@lnkr
D:\side\>
в ответ на Мя �� • • •Sensitive content
Yes Man
Contributors to Fallout Wiki (Fandom, Inc.)