Технологии переводят мемы слабовидящим

Группа исследователей из Университета Карнеги-Меллона (США) разработала технологию, способную распознавать мемы, опубликованные в Интернете, и переводить их на помощь людям с некоторыми нарушениями зрения.

У слепых или слабовидящих людей есть технологии, которые позволяют им получать доступ к тексту из социальных сетей, но в случае мемов, если они не понимают юмористические изображения, они пропускают важную часть разговора, как объясняет авторы исследования.

Чтобы расширить доступность, они разработали метод, который идентифицирует мемы по изображениям, которые они используют, и который включает ранее написанный контент, с которым они предоставляют альтернативный текст с дополнительным контекстом для их понимания.

С помощью методов компьютерного зрения система сначала описывает изображение мема, а затем использует оптическое распознавание символов для чтения текста, наложенного на изображение, также указывая, находится ли он в верхней или нижней части изображения. мем.

Система Университета Карнеги-Меллона способна переводить мемы в текст, но также и в виде звука, так что помимо чтения текста были добавлены другие элементы, такие как музыка и звуковые эффекты, чтобы помочь описать значение мема. Однако они объяснили, что в своих тестах люди предпочитали только текст из-за обычаев.

Исследователи также обратили внимание на сложность внедрения этой системы в Интернете, поскольку, когда пользователи создают мем, они копируют изображение, а не альтернативный текст, который может помочь слепым. По этой причине в настоящее время они работают над расширением Twitter, которое позаботится об этой задаче или даже о метаданных фотографии.

С информацией из Excelsior

Foto: EUROPA PRESS

Источник записи: https://www.globalmedia.mx