Доклад, подготовленный Организацией Объединенных Наций по вопросам образования, науки и культуры (ЮНЕСКО) совместно с Университетским колледжем Лондона, показал, что модели ИИ часто отказываются от устоявшихся научных фактов о климате, когда пользователи оспаривают их ответы.
Доклад представили 16 ноября на конференции сторон «COP31», проходившей в турецком городе Анталья.
Модели меняют ответы после первого возражения

Исследователи установили, что модели правильно отвечали примерно на 90% вопросов по климатологии в нейтральных условиях, но часто меняли ответы, когда пользователи выражали несогласие или выдвигали вводящие в заблуждение утверждения. В тестах с участием 15 моделей они меняли ответы в восьми из десяти случаев после первого сигнала о простом возражении.
Отдельные оценки, охватившие до 33 моделей, выявили слабые места в сложном рассуждении.
Разрыв между языками
Доклад зафиксировал значительные различия в результатах по 13 языкам: средняя точность составила 88,6% в английском языке, снизилась до 83,6% в хинди и бенгальском, до 81,4% в урду и до 78,3% в суахили.
В докладе предупредили, что модели, отдающие предпочтение согласию с пользователем перед научной точностью, могут усиливать вводящие в заблуждение утверждения, а различия в результатах между языками способны ограничить доступ наиболее уязвимых регионов к надежной климатической информации.