Оказалось, что забывчивость помогает ИИ учиться

Как это работает.

Специалисты из Института психолингвистики Макса Планка искусственно ограничили память современных нейросетей. В отличие от классических систем, которые безупречно помнят огромные объемы данных, новый алгоритм целенаправленно стирает точные буквенные формы старых слов, пишет «Хайтек».

Ученые протестировали новую технологию на ИИ-бенчмарке BabyLM. Этот датасет содержит ровно столько текстовой информации, сколько человеческий ребенок успевает услышать за период своего развития.

Эксперименты показали, что «забывающий» ИИ справляется с тестами на знание синтаксиса и языковое моделирование значительно лучше стандартных трансформеров. Оказалось, что жесткое ограничение памяти заставляет нейросеть игнорировать лишний текстовый шум. Вместо этого она фокусируется на поиске устойчивых закономерностей и абстрактных правил грамматики.

Положительный эффект проявился только тогда, когда деградацию данных объединили с коротким эхо-буфером. Он сохраняет в неизменном виде лишь последние 3–7 слов, обеспечивая локальный контекст. За пределами этого окна точные фразы постепенно стираются.

Эта работа подтверждает давнюю гипотезу когнитивистов о том, что несовершенство человеческой памяти — это эволюционное преимущество для обучения, а не баг. Проект доказывает, что для создания продвинутого ИИ не всегда требуются терабайты данных и бесконечные контекстные окна.

Вы можете поддержать сайт Charter97.org следующим образом:

РАСЧЕТНЫЙ МУЛЬТИВАЛЮТНЫЙ СЧЕТ ДЛЯ ПОЖЕРТВОВАНИЙ:

Название банка: Bank Millennium S.A.
Адрес: ul. Stanislawa Zaryna, 2A, 02-593, Warszawa
IBAN: PL97116022020000000216711123
SWIFT: BIGBPLPW
Название владельца счета: Fundacja “KARTA ‘97”
Назначение платежа: Darowizna na cele statutowe

Связаться с нами можно по адресу [email protected]