У Google будет инструмент, способный понимать язык жестов
Команда исследователей искусственного интеллекта Google представила функцию для мобильных устройств Android, которая через камеру воспринимает движения и формы рук с помощью машинного обучения.
Система основана на отслеживании ладони и пальцев руки с последующим обнаружением 21 ключевой точки 3D на одном кадре.
Google использовал платформу с открытым исходным кодом MediaPipe для разработки проекта восприятия, и, по словам компании, модель могла «сформировать основу для понимания языка жестов», а также других функций, ориентированных на дополненную реальность, в которой руки перекрывают цифровой контент.
Система основана на трех различных частях: детектор ладони, который вырезает форму руки из рамки, модель, которая обнаруживает трехмерные ориентиры на вырезанном изображении, и детектор жестов, который классифицирует предварительно сконфигурированные ключевые точки на набор жестов.
Для определения формы ладони они используют модель однократного обнаружения под названием BlazePalm, которая работает с руками разных размеров и имеет большой диапазон относительно кадра изображения. Кроме того, он способен обнаруживать закрытые или перекрывающиеся руки и имеет точность 95,7 процента, превосходя предыдущие системы почти на десять пунктов.
Во-вторых, при обнаружении ладони модель ориентира определяет местонахождение 21 трехмерного ориентира сустава и пальца в различных областях руки. С помощью этих точек вы получаете представление о внутренней позе руки, и это работает даже с частично видимыми жестами и самокасающимися пальцами.
Наконец, модель применяет алгоритм для расшифровки жестов, которые делает рука. Сначала определяется положение пальцев: прямое или согнутое. Затем они сравнивают набор пальцев с заранее заданными наборами жестов, чтобы идентифицировать рассматриваемый жест.
На данный момент модель включает в себя жесты из разных культур и различные знаки рук, такие как числа, «палец вверх», «ОК», «да», «рок» и жест «Человек-паук».
ДЕНЬГИ НА ИЗОБРАЖЕНИИ с информацией DPA
ФОТО: PxHere
Источник записи: https://www.globalmedia.mx