Adaptacyjny system inteligentnego przetwarzania mowy lekarzy wraz ze strukturalizacją wyników badań i wspomaganiem procesu terapeutycznego.

Celem projektu jest opracowanie i wdrożenie rozwiązania, przy użyciu którego, lekarze przywołują głosowo dostępne wyniki badań diagnostycznych i parametrów klinicznych pacjentów, wypełniają karty choroby w toku wywiadu lekarskiego, stosownie do potrzeb tworzą opisy radiologiczne i ordynują leczenie. Przewidziany do opracowania system automatycznie generuje szablony do ich wypełniania, w tym wywiad lekarski, opisy obrazów radiologicznych, które będą mogły być edytowane głosowo, a ponadto umożliwi dyktowanie skierowań na dodatkowe badania, recept i zwolnień lekarskich. Chmurowy system rozpoznawania mowy zostanie zbudowany w oparciu o zbudowany korpus mowy polskiej poszerzony o słownik terminów medycznych oraz handlowych nazw leków, z przeznaczeniem do wykorzystania przede wszystkim przez lekarzy różnych specjalności, w tym radiologów, chirurgów, lekarzy pracujących w szpitalnych oddziałach ratunkowych, specjalistów udzielających porad medycznych. Wariant rozwiązania rozbudowany o komunikację dwukierunkową, opartą zarówno na rozpoznawaniu mowy, jak i na jej syntezie, będzie mógł być wykorzystywany w sytuacjach, kiedy lekarz nie może obsługiwać ręcznie edytora tekstowego. Zakłada się zbudowanie korpusu nagrań w oparciu o nagrania mowy artykułowanej w typowych warunkach akustycznych gabinetów lekarskich, a ponadto w maskach chirurgicznych, na salach operacyjnych, a także w warunkach utrudniających skuteczne rozpoznawanie mowy, tzn. w obecności pogłosu, zakłóceń oraz mowy równoczesnej. W szczególności dla potrzeb wykorzystywania systemu na salach zabiegowych i klinicznych oddziałach ratunkowych wykorzystywane będzie skonstruowane sprzętowe rozwiązanie do akwizycji sygnału mowy. Dodatkowym zastosowaniem systemu będzie przeszukiwanie baz i repozytoriów medycznych, stąd repozytoria zostaną uzupełnione o nazwy schorzeń i niektórych składników leków oraz o nazwy handlowe popularnych produktów medycznych. Szczególna uwaga zostanie zwrócona na wytrenowanie systemu dla rozpoznawania skojarzonych ze sobą zestawów słów, eliminowania powtarzających się terminów błędnych, dyktowania wymiarów zmian radiologicznych, głosowego korygowania wpisów w przywoływanych szablonach, możliwości odczytywania wpisów przy użyciu mowy syntetycznej, poczynając od zaznaczanych pozycji kursora i wymiany istniejących fragmentów na nowe, podyktowane głosem.

Informacje szczegółowe

Akronim projektu:

ADMEDVOICE

Program finansujący:

INFOSTRATEG

Instytucja:

Narodowe Centrum Badań i Rozwoju (NCBR) (The National Centre for Research and Development)

Porozumienie:

INFOSTRATEG4/0003/2022 z dnia 2023-05-04

Okres realizacji:

2023-04-01 - 2026-03-31

Kierownik projektu:

prof. dr hab. inż. Andrzej Czyżewski

Członkowie zespołu:

Ekspert prof. dr hab. inż. Bożena Kostek
Specjalista ds. uczenia maszynowego dr hab. inż. Piotr Szczuko
Projektant systemów akustycznych dr hab. inż. Józef Kotus
Projektant ds. baz danych dr hab. inż. Grzegorz Szwoch
Specjalista ds. automatyzacji testów dr inż. Piotr Odya
Specjalista ds. biometrii głosowej dr inż. Maciej Szczodrak
Specjalista ds. technologii chmurowej dr inż. Arkadiusz Harasimiuk
Specjalista dr inż. Karolina Marciniuk
Specjalista ds. opracowania interfejsów mgr inż. Paweł Spaleniak
Specjalista ds. rozpoznawania mowy mgr inż. Szymon Zaporowski
Specjalista ds. uczenia maszynowego dr inż. Sebastian Cygert
Specialista mgr inż. Dawid Weber
Specjalista mgr inż. Wanda Ludwikowska
Specjalista mgr inż. Franciszek Górski
technik informatyk Daniel Wiśniewski
Specjalista ds. uczenia maszynowego inż. Marta Zielonka

Realizowany w:

Katedra Systemów Multimedialnych

Instytucje zewnętrzne biorące udział w projekcie:

Gdański Uniwersytet Medyczny (Polska)
E-TRUST Sp. z o.o. (Polska)

Wartość projektu:

8 299 875.00 PLN

Typ zgłoszenia:

Krajowy Program Badawczy

Pochodzenie:

Projekt krajowy

Weryfikacja:

Politechnika Gdańska

Publikacje powiązane z tym projektem

wyników na stronę:
rok:
- zaznaczony Sortuj po rok od najnowszych
- Sortuj po rok od najstarszych
tytuł:
- zaznaczony Sortuj po tytuł A-Z
- Sortuj po tytuł Z-A
cytowania:
- Sortuj po cytowania malejąco
- Sortuj po cytowania rosnąco

Filtry

wszystkich: 3

Rok 2024

Enhancing voice biometric security: Evaluating neural network and human capabilities in detecting cloned voices
Publikacja
- A. Czyżewski
- Journal of the Acoustical Society of America - Rok 2024
This study assesses speaker verification efficacy in detecting cloned voices, particularly in safety-critical applications such as healthcare documentation and banking biometrics. It compares deeply trained neural networks like the DeepSpeaker with human listeners in recognizing these cloned voices, underlining the severe implications of voice cloning in these sectors. Cloned voices in healthcare could endanger patient safety by...

Pełny tekst do pobrania w serwisie zewnętrznym
The Impact of Foreign Accents on the Performance of Whisper Family Models Using Medical Speech in Polish
Publikacja
- S. Zaporowski
- Rok 2024
The article presents preliminary experiments investigating the impact of accent on the performance of the Whisper automatic speech recognition (ASR) system, specifically for the Polish language and medical data. The literature review revealed a scarcity of studies on the influence of accents on speech recognition systems in Polish, especially concerning medical terminology. The experiments involved voice cloning of selected individuals...

Pełny tekst do pobrania w portalu

Rok 2023

A survey of automatic speech recognition deep models performance for Polish medical terms
Publikacja
- Rok 2023
Among the numerous applications of speech-to-text technology is the support of documentation created by medical personnel. There are many available speech recognition systems for doctors. Their effectiveness in languages such as Polish should be verified. In connection with our project in this field, we decided to check how well the popular speech recognition systems work, employing models trained for the general Polish language....

Pełny tekst do pobrania w serwisie zewnętrznym

wyświetlono 10350 razy