Математики нашли принцип, объясняющий непредсказуемость обучения ИИ

Ученые из Сиднейского университета выяснили, что непредсказуемость результатов обучения искусственного интеллекта заложена в самой математической природе нейросетей, а не связана с внешними факторами. Это открытие объясняет, почему даже минимальные изменения в процедуре обучения могут приводить к кардинально разным итогам, и почему невозможно одновременно добиться высокой предсказуемости и скорости обучения.

Профессор Гун Пулинь отметил, что ранее различия в поведении ИИ приписывали случайностям, таким как порядок подачи данных или особенности вычислительных систем. Однако анализ показал, что корень проблемы лежит глубже: даже изменение одного бита во внутренних параметрах нейросети при ее инициализации способно вызвать такие же серьезные изменения в обучении, как и любые внешние воздействия.

К такому выводу исследователи пришли, сравнив результаты обучения 500 тысяч относительно простых нейросетей, предназначенных для распознавания изображений и текстов. Даже при идентичных внешних условиях итоги их обучения радикально отличались. Ученые вывели набор формул, описывающих вариации в поведении нейросетей с помощью закономерностей, характерных для фракталов — самоповторяющихся структур. Эти формулы устанавливают жесткую связь между скоростью обучения и предсказуемостью, что накладывает фундаментальные ограничения на разработку новых систем ИИ и объясняет трудности с воспроизведением ранее полученных моделей.