ИИ стал сокращать гигантские тексты до предложения

В институте ИИ Аллена (AI2) научили собственную программу Semantic Scholar выполнять экстремальное сжатие длинных текстов.

Semantic Scholar работает на базе ИИ и используется для научных исследований. В режиме новой функции реферирования он сокращает научно-исследовательские работы до одного предложения и пока специализируется на информатике. База данных Semantic Scholar содержит свыше 10 млн статей по этому предмету. Постепенно база будет расширяться статьями из других научных дисциплин. Пользователи положительно оценили первые тесты.

Semantic Scholar – не первый подобный инструмент, но он имеет самую высокую среди всех степень сжатия. Научные статьи в среднем содержат около 5 тыс. слов, программа сокращает их до 21 – в 238 раз. Ближайшему конкуренту удается 36-кратное сжатие.

Код сжатия доступен бесплатно, в том числе на созданном разработчиками демонстрационном сайте.

Пока Semantic Scholar сжимает только английские тексты. Авторы надеются расширить список языков.