Описана возможность манипулировать ИИ

Специалисты из Нью-Йоркского университета (США) опубликовали исследование в журнале Nature, в котором описали потенциальные опасности обучения моделей искусственного интеллекта (ИИ) на непроверенных данных.

Ученые предупредили, что большие языковые модели (LLM) ИИ могут допускать ошибки, если им подавать фейковую информацию или антинаучные данные. Даже при уровне дезинформации в 0,001 процента нейросети уже могут выдавать значительное количество неверных ответов.

В рамках исследования специалисты обучали две LLM на медицинской базе данных The Pile, выбрав 20 тем из трех медицинских областей. С использованием модели GPT 3.5 они выяснили, что нейросети начали транслировать неверную информацию и допускать ошибки не только в прямых запросах, но и в смежных темах. Это открывает возможности для манипуляций с ИИ.

При уровне дезинформации в 0,01 процента LLM начинает допускать ошибки в 10 процентах ответов. С уменьшением количества фейковых материалов до 0,001 процента модель уже делает ошибки в 7 процентах случаев. Ученые подчеркнули важность подтверждения данных, используемых для обучения моделей, поскольку люди часто получают информацию от чат-ботов, не проверяя ее у специалистов.

Кроме того, специалисты Bloomberg Intelligence предупредили, что крупнейшие банки в ближайшие три-пять лет могут сократить до 200 тысяч сотрудников из-за распространения ИИ. Около четверти респондентов прогнозируют сокращение от пяти до десяти процентов общего числа персонала.

Источник и фото - lenta.ru