Для обучения ИИ. Amazon скупает редкие книги и уничтожает их

Об этом сообщило издание 404 Media .

Журналисты 404 Media отследили путь одной из таких книг с помощью трекера. В итоге редкое издание доставили на объект Amazon в Лас-Вегасе, известный как VGT3. На территории центра изображен динозавр, держащий книгу в когтях.

По данным 404 Media, Amazon закупает большие объемы редких изданий, в частности книг, которые больше не печатаются или которые сложно найти в интернете. Впоследствии книги могут разбирать для сканирования их содержания.

В Amazon подтвердили, что компания приобретает книги через коммерческие каналы. В заявлении для 404 Media отметили, что это делается для совершенствования продуктов и сервисов, которыми пользуются клиенты.

Редкие книги представляют интерес для разработчиков больших языковых моделей, поскольку для обучения им требуются огромные массивы текстов. Значительная часть доступного в интернете контента уже была использована для этой цели, поэтому компании ищут новые источники данных.

Особую ценность представляют издания, недоступные в цифровом формате. Кроме того, тексты, опубликованные до появления современных генеративных моделей, с большей вероятностью были написаны людьми.

Это важно из-за риска так называемого «коллапса модели». Он может возникнуть, если искусственный интеллект слишком часто обучается на текстах, созданных другим ИИ. В результате качество его ответов может постепенно ухудшаться.

Таким образом, старые и редкие книги становятся для технологических компаний источником оригинальных текстовых данных, которые можно использовать для обучения новых моделей искусственного интеллекта.