Немножко дров в топку холивара про то, что журналистов заменят роботы. Одна из региональных газет Японии запустила собственную систему искусственного интеллекта, которая автоматически генерирует выжимку из текста, чтобы размещать эти выжимки в качестве подводок на разных платформах (соцсети, почта и т.п.).
Газета Shinano Mainichi Shimbun заключила договор с компанией Fujitsu на разработку такой системы, основанной на технологиях, которые были созданы в лаборатории Fujitsu.
Обычно сотрудники газеты сами вручную перерабатывают каждый материал, готовя такие саммари для дистрибуционных платформ, но это занимало достаточно заметное время. Алгоритм, который разработали в Fujitsu, научился просматривать текст статьи и делать эту работу за считанные секунды, основываясь на технологиях процессинга языков и машинного обучения. Он просматривает статью фраза за фразой и ранжирует их по важности для текста, отбирая самые важные и формируя из них новый связанный, но более короткий текст.
Масато Якота, директор инфраструктурного подразделения Fujitsu:
— Таким образом, мы создали модель «отбора важных фраз». Эти «важные фразы» определяют ценность всего текста. Система их изучает, отбрасывает лишние слова, сокращая предложения.
Во время тестового периода алгоритм обучался на 2500 статьях, размещённых на сайте или в газетном архиве. Для того, чтобы обучить его правильному подходу, к каждой из этой статьи журналисты сами написали выжимку, которую «скармливали» алгоритму, давая некий эталон для сравнения.
Алгоритм умеет работать с текстами, написанными как на японском, так и на английском языках. И он легко встраивается в коды сайт, потому что был разработан с учётом API ресурса. Для того, чтобы система начала работать, журналисту достаточно нажать в «админке» специальную кнопку «Саммари».
Источник: The Splice Newsroom
