Создан способ обнаружения ложных умозаключений в ИИ

20.11.2026, 03:48 , Виктория Иванова

Российский исследователь разработал методику, позволяющую выявлять структурно необоснованные логические цепочки в больших языковых моделях, даже если они выглядят убедительно. Этот подход направлен на повышение надежности искусственного интеллекта в критически важных сферах, таких как медицина, где ошибки могут иметь серьезные последствия.

Борис Галицкий, ведущий научный сотрудник Института искусственного интеллекта МФТИ, предложил набор данных для анализа характеристик галлюцинаторных рассуждений на уровне дискурса. Исследование показало, что корректные и ошибочные объяснения можно отличить по структуре мыслей в 81% случаев, а при учете содержания и других характеристик точность возрастает до 84%.

В работе ИИ могут встречаться не только вымышленные факты, но и логические ошибки, что особенно опасно в сложных медицинских, юридических и научных вопросах, требующих тщательного отбора доказательств. Для проверки гипотезы была создана выборка из примерно тысячи жалоб вымышленных пациентов с аутоиммунными заболеваниями, каждая из которых анализировалась с помощью двух вариантов ИИ-рассуждений — корректного и галлюцинаторного.

Тексты разбили на короткие смысловые части и обработали специальным алгоритмом классификации. В будущем применение подобных алгоритмов для анализа рассуждений больших языковых моделей может значительно улучшить качество их работы в областях, где ошибки способны привести к серьезным последствиям.