Пост канала
- фото
🧠 Мозговой имплантат помог воспроизвести речь и жесты парализованных людей Американские учёные создали систему, воспроизводящую речь парализованных людей и считывающую их жесты. Данные от мозгового имплантата, закреплённого над сенсомоторной корой, передаются компьютеру, который выводит на экран анимированный аватар пациента. Работа опубликована в Nature Neuroscience. Команда Эдварда Чанга из Калифорнийского университета в Сан-Франциско расширила возможности имплантата: теперь система передаёт не только речь, но и жесты. Имплантат, закреплённый над сенсомоторной корой, улавливает сигналы, связанные с движениями конечностей, рта и лица — например, пожимание плечами или кивки головой. Для двух участников эксперимента учёные создали цифровой аватар в полный рост. Пациентов просили показать жесты, ответить на реплики или сделать и то, и другое одновременно. Мозговая активность передавалась в компьютерные модели речи и жестов, обученные на базе сверточной рекуррентной нейронной сети. Распознанная речь отображалась текстом на экране, а жест воспроизводился аватаром. Обе модели распознают состояние покоя, что позволяет системе работать при речи, изолированных жестах или их одновременном выполнении. Точность распознавания составила 85% для жестов и 75% для речи у одного участника, а у второго достигла 100% для обоих типов сигналов. До внедрения в клиническую практику технология должна пройти более масштабные испытания, а учёные планируют расширить спектр распознаваемых слов и жестов.
Открыть в MAX- Просмотры
- 3 329
- ER
- 0,8%
- Реакции
- 27