Adaptacyjny system inteligentnego przetwarzania mowy lekarzy wraz ze strukturalizacją wyników badań i wspomaganiem procesu terapeutycznego.

Celem projektu jest opracowanie i wdrożenie rozwiązania, przy użyciu którego, lekarze przywołują głosowo dostępne wyniki badań diagnostycznych i parametrów klinicznych pacjentów, wypełniają karty choroby w toku wywiadu lekarskiego, stosownie do potrzeb tworzą opisy radiologiczne i ordynują leczenie. Przewidziany do opracowania system automatycznie generuje szablony do ich wypełniania, w tym wywiad lekarski, opisy obrazów radiologicznych, które będą mogły być edytowane głosowo, a ponadto umożliwi dyktowanie skierowań na dodatkowe badania, recept i zwolnień lekarskich. Chmurowy system rozpoznawania mowy zostanie zbudowany w oparciu o zbudowany korpus mowy polskiej poszerzony o słownik terminów medycznych oraz handlowych nazw leków, z przeznaczeniem do wykorzystania przede wszystkim przez lekarzy różnych specjalności, w tym radiologów, chirurgów, lekarzy pracujących w szpitalnych oddziałach ratunkowych, specjalistów udzielających porad medycznych. Wariant rozwiązania rozbudowany o komunikację dwukierunkową, opartą zarówno na rozpoznawaniu mowy, jak i na jej syntezie, będzie mógł być wykorzystywany w sytuacjach, kiedy lekarz nie może obsługiwać ręcznie edytora tekstowego. Zakłada się zbudowanie korpusu nagrań w oparciu o nagrania mowy artykułowanej w typowych warunkach akustycznych gabinetów lekarskich, a ponadto w maskach chirurgicznych, na salach operacyjnych, a także w warunkach utrudniających skuteczne rozpoznawanie mowy, tzn. w obecności pogłosu, zakłóceń oraz mowy równoczesnej. W szczególności dla potrzeb wykorzystywania systemu na salach zabiegowych i klinicznych oddziałach ratunkowych wykorzystywane będzie skonstruowane sprzętowe rozwiązanie do akwizycji sygnału mowy. Dodatkowym zastosowaniem systemu będzie przeszukiwanie baz i repozytoriów medycznych, stąd repozytoria zostaną uzupełnione o nazwy schorzeń i niektórych składników leków oraz o nazwy handlowe popularnych produktów medycznych. Szczególna uwaga zostanie zwrócona na wytrenowanie systemu dla rozpoznawania skojarzonych ze sobą zestawów słów, eliminowania powtarzających się terminów błędnych, dyktowania wymiarów zmian radiologicznych, głosowego korygowania wpisów w przywoływanych szablonach, możliwości odczytywania wpisów przy użyciu mowy syntetycznej, poczynając od zaznaczanych pozycji kursora i wymiany istniejących fragmentów na nowe, podyktowane głosem.

Informacje szczegółowe

Akronim projektu:

ADMEDVOICE

Program finansujący:

INFOSTRATEG

Instytucja:

Narodowe Centrum Badań i Rozwoju (NCBR) (The National Centre for Research and Development)

Porozumienie:

INFOSTRATEG4/0003/2022 z dnia 2023-05-04

Okres realizacji:

2023-04-01 - 2026-03-31

Kierownik projektu:

prof. dr hab. inż. Andrzej Czyżewski

Członkowie zespołu:

Ekspert prof. dr hab. inż. Bożena Kostek
Specjalista ds. uczenia maszynowego dr hab. inż. Piotr Szczuko
Projektant systemów akustycznych dr hab. inż. Józef Kotus
Projektant ds. baz danych dr hab. inż. Grzegorz Szwoch
Specjalista ds. automatyzacji testów dr inż. Piotr Odya
Specjalista ds. biometrii głosowej dr inż. Maciej Szczodrak
Specjalista ds. technologii chmurowej dr inż. Arkadiusz Harasimiuk
Specjalista dr inż. Karolina Marciniuk
Specjalista ds. opracowania interfejsów mgr inż. Paweł Spaleniak
Specjalista ds. rozpoznawania mowy mgr inż. Szymon Zaporowski
Specjalista ds. uczenia maszynowego dr inż. Sebastian Cygert
Specialista mgr inż. Dawid Weber
Specjalista mgr inż. Wanda Ludwikowska
Specjalista mgr inż. Franciszek Górski
technik informatyk Daniel Wiśniewski
Specjalista ds. uczenia maszynowego inż. Marta Zielonka

Realizowany w:

Katedra Systemów Multimedialnych

Instytucje zewnętrzne biorące udział w projekcie:

Gdański Uniwersytet Medyczny (Polska)
E-TRUST Sp. z o.o. (Polska)

Wartość projektu:

8 299 875.00 PLN

Typ zgłoszenia:

Krajowy Program Badawczy

Pochodzenie:

Projekt krajowy

Weryfikacja:

Politechnika Gdańska

Publikacje powiązane z tym projektem

wyników na stronę:
rok:
- zaznaczony Sortuj po rok od najnowszych
- Sortuj po rok od najstarszych
tytuł:
- zaznaczony Sortuj po tytuł A-Z
- Sortuj po tytuł Z-A
cytowania:
- Sortuj po cytowania malejąco
- Sortuj po cytowania rosnąco

Filtry

wszystkich: 5

Rok 2025

Machine learning tools match physician accuracy in multilingual text annotation
Publikacja
- M. Zielonka
- A. Czyżewski
- D. Szplit
- B. Graff
- A. Szyndler
- M. Budzisz
- K. Narkiewicz
- Scientific Reports - Rok 2025
In the medical field, text annotation involves categorizing clinical and biomedical texts with specific medical categories, enhancing the organization and interpretation of large volumes of unstructured data. This process is crucial for developing tools such as speech recognition systems, which help medical professionals reduce their paperwork. It addresses a significant cause of burnout reported by up to 60% of medical staff....

Pełny tekst do pobrania w serwisie zewnętrznym
Separation of Simultaneous Speakers with Acoustic Vector Sensor
Publikacja
- J. Kotus
- G. Szwoch
- SENSORS - Rok 2025
This paper presents a method of sound source separation in live audio signals, based on sound intensity analysis. Sound pressure signals recorded with an acoustic vector sensor are analyzed, and the spectral distribution of sound intensity in two dimensions is calculated. Spectral components of the analyzed signal are selected based on the calculated source direction, which leads to a spatial filtration of the sound. The experiments...

Pełny tekst do pobrania w serwisie zewnętrznym

Rok 2024

Enhancing voice biometric security: Evaluating neural network and human capabilities in detecting cloned voices
Publikacja
- A. Czyżewski
- Journal of the Acoustical Society of America - Rok 2024
This study assesses speaker verification efficacy in detecting cloned voices, particularly in safety-critical applications such as healthcare documentation and banking biometrics. It compares deeply trained neural networks like the DeepSpeaker with human listeners in recognizing these cloned voices, underlining the severe implications of voice cloning in these sectors. Cloned voices in healthcare could endanger patient safety by...

Pełny tekst do pobrania w serwisie zewnętrznym
The Impact of Foreign Accents on the Performance of Whisper Family Models Using Medical Speech in Polish
Publikacja
- S. Zaporowski
- Rok 2024
The article presents preliminary experiments investigating the impact of accent on the performance of the Whisper automatic speech recognition (ASR) system, specifically for the Polish language and medical data. The literature review revealed a scarcity of studies on the influence of accents on speech recognition systems in Polish, especially concerning medical terminology. The experiments involved voice cloning of selected individuals...

Pełny tekst do pobrania w portalu

Rok 2023

A survey of automatic speech recognition deep models performance for Polish medical terms
Publikacja
- Rok 2023
Among the numerous applications of speech-to-text technology is the support of documentation created by medical personnel. There are many available speech recognition systems for doctors. Their effectiveness in languages such as Polish should be verified. In connection with our project in this field, we decided to check how well the popular speech recognition systems work, employing models trained for the general Polish language....

Pełny tekst do pobrania w serwisie zewnętrznym

wyświetlono 11279 razy