AI Journey 2023: Ученые Сбера представили модели искусственного интеллекта, способные распознавать русский жестовый язык

AI Journey 2023: Ученые Сбера представили модели искусственного интеллекта, способные распознавать русский жестовый язык
Фото: infoorel.ru
На базе одной из моделей были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в публичном рейтинге WLASL-2000.

Сбер представил нейросетевые модели, позволяющие распознавать русский жестовый язык. Об  этом на  конференции AI  Journey сообщил старший вице-президент, СTO, руководитель блока «Технологи» Сбербанка Андрей Белевцев.

Команда Vision RnD (из  Управления экспериментальных систем машинного обучения) в  SberDevices, разрабатывающая одно из  таких решений, первой в  мире представила прототип общения с  генеративной языковой моделью при помощи жестового языка в  открытом доступе. Это стало возможно благодаря использованию GigaChat API, программного интерфейса доступа к  сервису GigaChat. Генеративная модель GigaChat сама, без дополнительных преобразований, понимает контекст распознанных жестов. Например, распознанные отдельные слова: «Я  Идти Улица Гулять» сервис сам преобразовывает в  корректную фразу: «Я  пошел гулять на  улицу», сохраняя контекст передачи информации.

Текущая версия модели позволяет распознавать более 2500  жестов, включая понимание дактиля (произношение слов по  буквам) и  возможность распознавать составные жесты. Кроме того, модель понимает терминологию по  темам банковской сферы, транспорта, животных, и  даже несколько слов из  сферы медицины и  образования. Этот объем покрывает существенную часть словаря русского жестового языка, позволяя создавать сервисы с  нужным прикладным применением.

На  базе этой модели были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в  публичном рейтинге WLASL-2000 . Достичь такого результата позволило использование самого разнообразного и  большого в  мире датасета для распознавания русского жестового языка  — Slovo . Датасет и  обученная на  нем модель выложены в  открытый доступ .

Другая команда исследователей, из  подразделения Sber AI  во благо общества, разработала и  опубликовала в  открытом доступе легкую модель распознавания жестового языка, не  требовательную к  вычислительным ресурсам. Модель работает на  CPU, что снижает себестоимость решений, создаваемых на  ее  основе. Это дает возможность широкому кругу разработчиков проектировать инклюзивное программное обеспечение, например, продукты и  сервисы для коммуникации или инструменты для изучения жестового языка. На  сегодняшний день алгоритм распознает 1600 жестов и  преобразовывает в  слова до  трёх жестов в  секунду на  стандартных персональных компьютерах. В  2024 году планируется тестирование и  внедрение модели распознавания русского жестового языка и  решений на  ее  основе в  ряде регионов России.

Андрей Белевцев, старший вице-президент, СTO, руководитель блока «Технологи» Сбербанка:

«Сервисы для распознавания русского жестового языка и  созданная Сбером система искусственного интеллекта GigaChat позволят преодолеть коммуникационный разрыв и  сделают мир доступнее для людей с  нарушением слуха. Модели могут использоваться в  рамках исследований, позволяющих развивать сервисы для пользователей с  инвалидностью. Например, для создания доступной среды в  многофункциональных центрах (МФЦ), в  транспортной отрасли (аэропорты, вокзалы, метро), в  больницах для общения пациента и  врача, в  банковских сервисах и  адаптации онлайн и  оффлайн-образования».

Источник: ПАО «Сбербанк»

Новости соседних регионов по теме:

Усилия направлены на исключение русского жестового языка в Украине, сообщает Александр Хребет, журналист Kyiv Independent.
15:31 26.11.2023 Cher-Poisk.Ru - Череповец
Фото: istockphoto/KatarzynaBialasiewicz На Украине планируют избавиться от русского жестового языка, который используют глухонемые украинцы.
08:10 25.11.2023 РТВ-Подмосковье - Подмосковье
Мультимодальная нейросетевая модель Сбера под наблюдением экспертной комиссии из ВШЭ успешно сдала ЕГЭ по обществознанию Нейросетевая модель GigaChat выполнила все задания единого государственного экзамена по общество
19:29 24.11.2023 Baikal24.Ru - Иркутск
В 2024 году программисты намерены протестировать и внедрить распознавание русского жестового языка в нескольких российских регионах.
13:16 24.11.2023 Fonar.Tv - Белгород
На базе одной из моделей были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в публичном рейтинге WLASL-2000.
13:31 24.11.2023 News29.Ru - Архангельск
На базе одной из моделей были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в публичном рейтинге WLASL-2000.
09:19 24.11.2023 Vishime.Ru - Ишим
Сбер представил нейросетевые модели, позволяющие распознавать русский жестовый язык.
18:41 24.11.2023 Asn24.Ru - Благовещенск
На базе одной из моделей были обучены нейросети для распознавания американского жестового языка Сбер представил нейросетевые модели, позволяющие распознавать русский жестовый язык.
20:01 24.11.2023 KamchatkaMedia.Ru - Петропавловск-Камчатский
На базе одной из моделей были обучены нейросети для распознавания американского жестового языка 18:00 Общество Тематическая иллюстрация Фото: https://ru.freepik.com/ Сбер представил нейросетевые модели,
18:59 24.11.2023 SakhalinMedia.Ru - Южно-Сахалинск
На международной конференции по искусственному интеллекту AI Journey разработчики Сбера анонсировали новую версию сервиса GigaChat,
12:42 24.11.2023 Pchela.News - Челябинск
На базе одной из моделей были обучены нейросети для распознавания американского жестового языка Сбер представил нейросетевые модели, позволяющие распознавать русский жестовый язык.
17:33 24.11.2023 AmurMedia.Ru - Хабаровск
На базе одной из моделей были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в публичном рейтинге WLASL-2000.
16:21 24.11.2023 Baikal24.Ru - Иркутск
24 ноября, РИА Биробиджан. Сбер представил нейросетевые модели, позволяющие распознавать русский жестовый язык (12+) .
14:30 24.11.2023 РИА Биробиджан - Биробиджан
На базе одной из моделей были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в публичном рейтинге WLASL-2000 Сбер представил нейросетевые модели,
01:33 24.11.2023 Сетевое издание Арбуз - Астрахань
Мультимодальная нейросетевая модель Сбера под наблюдением экспертной комиссии из ВШЭ успешно сдала ЕГЭ по обществознанию Нейросетевая модель GigaChat выполнила все задания единого государственного экзамена по общество
01:33 24.11.2023 Сетевое издание Арбуз - Астрахань
На базе одной из моделей были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в публичном рейтинге WLASL-2000.
19:06 23.11.2023 Mkset.Ru - Уфа
Об этом стало известно на конференции AI Journey Источник: kp.ru Искусственный интеллект научили распознавать язык жестов Фото: Shutterstock В России ученые создали нейросетевые модели,
16:24 23.11.2023 Комсомольская Правда Самара - Самара
На базе одной из моделей были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в публичном рейтинге WLASL-2000.
16:14 23.11.2023 Курская правда - Курск
Фото Сбер Реклама. ПАО «Сбербанк России» ИНН: 7707083893 erid: 2SDnjbzL16Q На базе одной из моделей были обучены нейросети для распознавания американского жестового языка,
15:07 23.11.2023 ИА Наш Брянск.ru - Брянск
 
По теме
В аварии на Южном подъезде к Орлу есть пострадавшие Елена Зябкина Фото: Управление Госавтоинспекции Орловской области По данным орловской Госавтоинспекции ,
В аварии под Орлом встретились легковушка и фургон Елена Зябкина Фото: Управление Госавтоинспекции Орловской области Дорожно-транспортное происшествие с летальным исходом произошла 2 марта на трассе «Нарышкино-Сосково».
В Ливнах проводится доследственная проверка по факту смерти работника на производстве - Следственный комитет Следственными органами СК России по Орловской области организовано проведение доследственной проверки по факту смерти работника на производстве, по признакам преступления, предусмотренного ч. 2 ст.
Следственный комитет
В Болхове юные «Помогаторы» всегда готовы прийти на помощь - МЧС Воспитанники кадетского отряда «Помогаторы» МБДОУ «Детский сад №2» совместно с сотрудниками 14-й пожарно-спасательной части Болховского района и инспекторами ГПН приняли участие в проведении Всероссийского открытого урок
МЧС
В рамках национального проекта "Культура" в центре социального обслуживания населения Глазуновского райна открыта новая рубрика  «Знакомство с творческими людьми нашего района».
Глазуновский район