Нейросеть обучили по аудиозаписям тысячи дней из языковой среды младенцев
Исследователи из Принстонского университета под руководством Ури Хассона обучили языковую модель на аудиозаписях, отражающих первые тысячу дней языковой среды младенцев. Оказалось, что ключевыми факторами успешного обучения стали многократное повторение услышанных слов и возвращение к прослушанному материалу в конце дня, что имитирует консолидацию памяти во сне. Результаты опубликованы в журнале Science.
В эксперименте для каждого из восьми детей создали индивидуальную модель, которая не получала предварительных языковых знаний и обучалась только на данных, доступных ребенку. Архитектура «кодировщик-декодер» разбивала речевой поток на отрезки по 20 миллисекунд, а затем декодер выявлял закономерности, предсказывая последующие элементы. Данные обрабатывались последовательно, день за днем, с учетом увеличения времени бодрствования, а в конце каждого дня модель повторно проходила материал.
Моделям потребовался примерно один смоделированный год, чтобы научиться распознавать звуки англоязычной речи и сформировать словарный запас в несколько тысяч слов. Динамика роста словаря почти полностью совпала с показателями реальных детей. Плотность данных оказалась критически важной: модели, получавшие лишь часть записей, усваивали меньше слов, что подтверждает необходимость повторения. Также важным было ночное возвращение к изученному: без него слова усваивались хуже даже при достаточном объеме информации.
В будущих исследованиях планируется добавить в модели жесты и мимику, чтобы приблизить процесс обучения к реальной жизни. Это исследование помогает понять, достаточно ли неструктурированного языкового опыта первых лет жизни для овладения языком, или необходимы врожденные предпосылки.
