Google обучает смартфоны отслеживать жесты

Алгоритм работает в двух режимах: в одном он создает двумерную модель руки, а в другом — трехмерную.

Программисты из Google создали открытую реализацию алгоритма отслеживания положения руки, адаптированную для работы на мобильных устройствах.

Разработчики считают, что это позволит реализовать на смартфонах новые функции, например, распознавание жестового языка или жестовых команд, сообщает N+1.

Алгоритм доступен как в виде исходного кода на GitHub, так и в виде приложения для Android, а подробности о нем компания рассказала в своем блоге.

Распознавания позы — одна из классических задач алгоритмов компьютерного зрения, имеющая множество применений, причем как полезных, так и развлекательных. К примеру, распознавание позы тела используют для определения насильственных действий в толпе, а в прошлом году Google применила его для создания «отражения» пользователя из большого архива снимков.

На сегодняшний существует множество реализаций алгоритма отслеживания позы, причем как для всего тела, так и для отельных частей, например, лица или рук.

Многие из них, такие как OpenPose, имеют открытый исходный код и доступны для использования. Однако почти все эти алгоритмы используют в своей работе нейросетевые модели, требующие большой вычислительной мощности и из-за этого неприменимые на мобильных устройствах.

В компания Google разработали алгоритм, позволяющий отслеживать движения руки на смартфонах с большой точностью.

В начале алгоритм анализирует кадры с камеры и обнаруживает на них руку, после чего работает только с нужной областью, что значительно снижает требуемую вычислительную мощность.

Во время работы алгоритм создает модель руки, состоящую из 21 точки, которых достаточно для относительно точного описания положения руки в конкретный момент. Алгоритм работает в двух режимах: в одном он создает двумерную модель руки, а в другом — трехмерную.

На основе такого алгоритма разработчики также создали и систему распознавания жестов: получая модель руки, алгоритм анализирует углы между частями пальцев и сопоставляет их с базой известных ему жестов.

Для обучения алгоритма разработчикам пришлось создать собственный датасет из примерно 30 тысяч кадров, на каждом из которых была вручную размечена модель кисти. Для сторонних разработчиков алгоритм доступен на GihHub, причем адаптирован он для работы на обеих основных мобильных операционных системах: Android и iOS.

Пользователи Android также могут установить себе два демо-приложения, одно из которых создает двумерную модель руки, а второе рисует трехмерную модель, отражающую относительное расстояние до каждой точки кисти.

Для iOS доступны инструкции по сборке проекта в Xcode.

Недавно Google рассказала подробности о будущем смартфоне Pixel 4, который будет представлен в октябре 2019 года. Одной из особенностей устройства станет радар Soli: он умеет распознавать жесты. Это позволит пользователям управлять некоторыми функциями смартфона, не прикасаясь к нему.

Напомним, ранее Google начала заменять пароли на идентификацию по отпечатку пальца.

Также «Хвиля» сообщала, что в фотоаппарат впервые загрузили вирус-вымогатель.

Также стало известно, что владельцы»умных» духовок жалуются на их самопроизвольное включение по ночам.

Подписывайтесь на канал «Хвилі» в Telegram, на канал «Хвилі» в Youtube, страницу «Хвилі» в Facebook

Последние новости
Продукты в Украине получат новую маркировку качества

Продукты в Украине получат новую маркировку качества

При нанесении знака качества можно будет нарушать его пропорции в пределах 20%.
Стало известно, у кого отберут пенсии и субсидии

Стало известно, у кого отберут пенсии и субсидии

Парламентарии одобрили соответствующий законопроект
Государство компенсирует иностранцам часть расходов на съемки фильмов

Государство компенсирует иностранцам часть расходов на съемки фильмов

Таким образом будут создаваться условия, которые должны способствовать привлечению внебюджетных средств, в том числе иностранных инвестиций и средств от иностранных субъектов кинематографии в отрасль кинопроизводства
Судьи затягивают передачу дел по топ-коррупции в Антикоррупционный суд

Судьи затягивают передачу дел по топ-коррупции в Антикоррупционный суд

Шевченковский районный суд Киева отказал в передаче ряда резонансных дел по топ-коррупции в Высший антикоррупционный суд
Математики вычислили стратегию, сокращающую время на парковку авто

Математики вычислили стратегию, сокращающую время на парковку авто

Согласно ученым, лучшее парковочное место — это то, которое уменьшает время, проведенное на стоянке
Недавно отремонтированный мост в Киеве уже «устал»: видео

Недавно отремонтированный мост в Киеве уже «устал»: видео

Работники коммунальных предприятий приступили к ремонту очередного моста
Таможня сделает свою информацию доступной для всех

Таможня сделает свою информацию доступной для всех

В планах таможни сделать всю информацию, которая не нарушает коммерческую тайну, открытой для всех
В Африке распространяется штамм сальмонеллы, нечувствительный ко всем лекарствам

В Африке распространяется штамм сальмонеллы, нечувствительный ко всем лекарствам

Мультирезистентные бактерии вызывают опасные заболевания крови и распространяют гены устойчивости к антибиотикам
В Европе хотят ужесточить правила для украинских заробитчан

В Европе хотят ужесточить правила для украинских заробитчан

Власти Эстонии усложняют процесс выдачи виз для украинцев, которые приезжают работать в страну.
Названа причина ледникового периода около 466 миллионов лет назад

Названа причина ледникового периода около 466 миллионов лет назад

Ученые разгадали, почему более 400 миллионов лет назад произошло обледенение нашей планеты
Погода на выходных порадует украинцев

Погода на выходных порадует украинцев

Синоптики обещают после субботней прохлады воскресное потепление во всех регионах страны
Коломойский рассказал о своих планах в отношении ПриватБанка

Коломойский рассказал о своих планах в отношении ПриватБанка

Коломойский отметив, что необходимо достижение какого-то компромисса
Twitter удалил тысячи аккаунтов по всему миру: названа причина

Twitter удалил тысячи аккаунтов по всему миру: названа причина

Более 4 тысяч аккаунтов Twitter были заблокированы в связи с распространением фейковых новостей
У Зеленского назвали условия для выборов на Донбассе

У Зеленского назвали условия для выборов на Донбассе

Выборы на Донбассе возможны только при выводе российских войск
Появилась инструкция по поиску идеального партнера

Появилась инструкция по поиску идеального партнера

Исследователи выяснили главное качество партнера на всю жизнь
Apple предоставила свободный доступ к загрузке iOS 13 для iPhone

Apple предоставила свободный доступ к загрузке iOS 13 для iPhone

Новая операционная система получила ряд важных (и не очень) улучшений.
Вакарчук объяснил свой уход из Рады ради концерта в Минске

Вакарчук объяснил свой уход из Рады ради концерта в Минске

По словам Вакарчука, его выступление на этом концерте не оплачивалось
Сжиженный газ снова начал падать в цене

Сжиженный газ снова начал падать в цене

Сжиженный газ после стремительного подорожания снова начал падать в цене
Гончарук поручил очистить Фонд госимущества от «присосок» и «кланов»

Гончарук поручил очистить Фонд госимущества от «присосок» и «кланов»

Необходимо "повычищать всех товарищей, которые представляют различные группы влияния"
Под Киевом поезд насмерть сбил человека

Под Киевом поезд насмерть сбил человека

Ситуация произошла вблизи села Кучакив
Зеленский издал указ о неотложных мерах по обеспечению экономического роста

Зеленский издал указ о неотложных мерах по обеспечению экономического роста

Также речь идет о стимулирования развития регионов и предотвращению коррупции
Рада ушла на «каникулы» до октября

Рада ушла на «каникулы» до октября

Пленарный режим работы подошел к концу. Верховная Рада Украины распределила работу в комитетах и встречи с избирателями
Михайличенко хотел уйти в отставку, — журналист

Михайличенко хотел уйти в отставку, — журналист

Наставник хотел покинуть тренерский мостик практически сразу после назначения.
Украина серьезно сдает позиции в рейтинге УЕФА

Украина серьезно сдает позиции в рейтинге УЕФА

Рейтинг обновляется после каждого этапа клубных турниров
Стало известно, когда стартует осенний призыв 2019

Стало известно, когда стартует осенний призыв 2019

Осенняя кампания призыва на срочную военную службу пройдет в начале октября. Уточняется, что призывники не будут задействованы в ООС на Донбассе
Нацбанк рассказал, за счет чего ускорился рост ВПП

Нацбанк рассказал, за счет чего ускорился рост ВПП

По данным Госстата, во втором квартале этого года ВВП Украины вырос на 4,6%
Портнов заявил, что Порошенко назначили три допроса на полиграфе

Портнов заявил, что Порошенко назначили три допроса на полиграфе

Якобы ему необходимо явиться в Киевский институт судебных экспертиз в начале октября
Главную теорию Стивена Хокинга научно опровергли

Главную теорию Стивена Хокинга научно опровергли

Ученые из США сделали важное открытие о строении черных дыр, тем самым опровергнув известную теорию Стивена Хокинга.
Коломойский имеет «золотую акцию» в большинстве Рады, — Кошкина

Коломойский имеет «золотую акцию» в большинстве Рады, — Кошкина

Депутатам просто надоело быть послушно-безмолвными баранами
Вакарчук «сбежал» из Рады на концерт в Минск

Вакарчук «сбежал» из Рады на концерт в Минск

Народный депутат от партии "Голос" Святослав Вакарчук объяснил, почему должен уйти раньше времени
Читай также
Последние новости

Продукты в Украине получат новую маркировку качества

Стало известно, у кого отберут пенсии и субсидии

Государство компенсирует иностранцам часть расходов на съемки фильмов

Судьи затягивают передачу дел по топ-коррупции в Антикоррупционный…

Математики вычислили стратегию, сокращающую время на парковку авто

Недавно отремонтированный мост в Киеве уже «устал»: видео

Таможня сделает свою информацию доступной для всех

В Африке распространяется штамм сальмонеллы, нечувствительный ко всем…

В Европе хотят ужесточить правила для украинских заробитчан

Названа причина ледникового периода около 466 миллионов лет…

Погода на выходных порадует украинцев

Коломойский рассказал о своих планах в отношении ПриватБанка

Twitter удалил тысячи аккаунтов по всему миру: названа…

У Зеленского назвали условия для выборов на Донбассе

Появилась инструкция по поиску идеального партнера