Thetos: Translator i Słownik Polskiego Języka Migowego

Celem projektu THETOS jest wykonanie systemu tłumaczącego teksty w języku polskim na polski język migowy (a ściślej – na pewien jego dialekt). Przetłumaczony przekaz migowy jest prezentowany przez wirtualnego, animowanego tłumacza. Obecnie dostępne są następujące elementy:

działający prototyp systemu (tylko do użytku wewn.)
uproszczona wersja demonstracyjna

Cel i uzasadnienie projektu

Problemy osób głuchych są bardzo często niedoceniane, gdyż na ogół sądzimy, że mogą one swobodnie posługiwać się słowem pisanym. Tymczasem bardzo często ludzie głusi od urodzenia nie potrafią pisać ani czytać, lub mają poważne z tym problemy. Dlatego zastosowanie ich podstawowego i naturalnego środka komunikacji, jakim jest język migowy, jest tak ważne. Główne cele, jakie postawiliśmy sobie w tym projekcie, to:

Wspomaganie komunikacji pomiędzy osobami słyszącymi i niesłyszącymi
Wspomaganie osób niesłyszących w nauce języka mówionego (fonicznego)
Wspomaganie kształcenia nauczycieli i tłumaczy polskiego języka migowego (słyszących jak i niesłyszących)

System Thetos pozwala na wpisanie zdania (lub ciągu zdań) w języku polskim, a następnie tłumaczy je na przekaz w języku migowym. Rozwiązanie uwzględnia specyficzną składnię i gramatykę polskiego języka migowego, znacząco odmienną od języka fonicznego. Przekaz, sprowadzony do ciągu gestów, jest w końcowej fazie tłumaczenia prezentowany przez animowaną, wirtualną postać.

System uzupełniono ponadto o animowany słownik Polskiego Języka Migowego.

Działanie i budowa systemu Thetos

System Thetos składa się z dwóch głównych części: lingwistycznej i multimedialnej... (czytaj dalej)

System Thetos składa się z dwóch głównych części: lingwistycznej i multimedialnej.

Część lingwistyczna przekształca tekst wejściowy na ciąg słów, reprezentujących znaki odpowiadającej mu wypowiedzi wyjściowej, skonstruowany zgodnie z regułami języka migowego. Wypowiedź wejściowa jest poddawana analizie morfologicznej, składniowej i semantycznej. Przy tej ostatniej są uwzględniane wybrane powiązania anaforyczne występujące w tekście. Przeanalizowana wypowiedź jest przedstawiana w reprezentacji predykatowo-argumentowej, spełniającej rolę reprezentacji semantycznej. Transfer (tłumaczenie) odbywa się na poziomie tej reprezentacji. Wykorzystuje się przy nim ograniczoną, większą niż w wersji prototypowej liczbę relacji semantycznych.

W części multimedialnej systemu słowa wypowiedzi wyjściowej są przedstawiane jako znaki-gesty przez specjalnie opracowaną postać wirtualną – awatara. Uwzględniono też animację ruchu warg postaci, wypowiadającej słowa odpowiadające pokazywanym znakom. Postać zrealizowano z zastosowaniem platformy FreeWill+. Ruchy składające się na gesty opisano w notacji gestograficznej B. Szczepankowskiego. Procedury interpretujące opisy gestów – m.in. – automatycznie uzupełniają niejawne informacje o położeniu części ciała postaci i eliminują niespójności opisu. Wyeliminowano większość kolizji części ciała. Prezentacja jest płynna i odbywa się w czasie rzeczywistym.

Zakres tłumaczonych tekstów jest limitowany zawartością stworzonych słowników dla języka wejściowego i wyjściowego. Słowniki systemu Thetos 3.0 po stronie wejściowej zawierają opis około 60000 wyrazów sprowadzonych do formy podstawowej. Po stronie wyjściowej słownik obejmuje ok. 1400 znaków języka migowego, w tym wszystkie obowiązujące kandydatów na tłumaczy języka przy egzaminie pierwszego stopnia. Duża liczba znaków odnosi się do spraw pierwszej pomocy medycznej, z myślą o których była skonstruowana wersja prototypowa systemu. (zwiń ten tekst)

Informacje medialne

System Thetos wzbudził zainteresowanie mediów, w tym telewizji (regionalnej i ogólnopolskiej) i prasy. Wspominano o nas... (czytaj dalej)

Materiały do pobrania

Program jest na etapie ciągłego rozwoju. Obecnie trwają prace nad dostrojeniem ruchu animowanej postaci. Nie wszystkie gesty są podobne do prawdziwych znaków języka migowego, i nie wszystkie wyglądają naturalnie. Materiały, które można pobrać poniżej, dobrze ilustrują bieżący stan prac.


Krótki film animowany: przykładowy przekaz migowy wygenerowany za pomocą systemu Thetos. Wyświetl film w jakości: [wysokiej 4.5MB] [średniej 1.5MB] [niskiej 0.5MB] [AVI]	Wersja demo pozwala na odtwarzanie predefiniowanego zestawu zdań. Zablokowano pełną analizę lingwistyczną i ograniczono zakres haseł słownikowych Pobierz

Spis publikacji

Z całokształtem problematyki związanej z projektem najlepiej się zapoznać z następującej publikacji:

Suszczanska N., P. Szmal, J. Francik (2002) Translating Polish Texts into Sign Language in the TGT System, 20th IASTED International Multi-Conference Applied Informatics, Innsbruck, Austria, pp. 282-287.

Przetwarzanie lingwistyczne realizowane przez system zostało dobrze przedstawione tutaj:

P. Szmal, N. Suszczanska (2002) Tłumaczenie tekstów na język migowy w systemie TGT–1: zasady i realizacja, Speech and Language Technology, eds.: G. Demenko, M. Karpiński, K. Jassem, vol. 6, 113-124.

Zagadnienia związane z animacją przekazów w języku migowym zostały naświetlone tutaj:

J. Francik, P. Fabian (2002) Animating Sign Language in the Real Time, 20th IASTED International Multi-Conference Applied Informatics, Innsbruck, Austria, pp. 276-281.

(zobacz pełny spis publikacji)

N. Suszczańska, P. Szmal (2005) Categorial grammar elements in the Thetos system’s parser. 2nd Language & Technology Conference, Poznań, pp. 338-342
N. Suszczańska, P. Szmal (2005) Working with Thetos, Text-into-Sign-Language Translator for Polish. Prezentacja na: 2nd Language & Technology Conference, Poznań
N. Suszczańska, J. Romaniuk, P. Szmal (2005) Automatic analysis of elliptic sentences in the Thetos system. Procs. of DIALOR’05: 9th Workshop on the semantics and pragmatics of dialogue (SEMDIAL). C. Gardent, B. Gaiffe (eds.), pp 147-150.
P. Szmal, N. Suszczańska (2005) Using Thetos, text into the sign language translation system for Polish. Prezentacja na: DIALOR’05: 9th Workshop on the semantics and pragmatics of dialogue (SEMDIAL), Nancy (Francja).
N. Suszczańska, J. Romaniuk, P. Szmal (2005) Elliptic sentences processing in the Thetos translation system. Int. Conf. Speech Analysis, Synthesis and Recognition, Kraków
N. Suszczańska, J. Romaniuk, P. Szmal (2005) Elliptic sentences processing in the Thetos translation system. Int. Conf. Speech Analysis, Synthesis and Recognition, Kraków, 20-22.09.2005. Abstract in: Archives of Acoustics, vol. 30, no. 3, p. 438.
M. Bach, D. Grund, S. Kulików, N. Suszczańska (2005) Problemy zdalnego dostępu do baz danych serwera LAS. Wysokowydajne sieci komputerowe – Nowe Technologie, WKŁ Warszawa, str. 163-170.
N. Suszczańska, P. Szmal, S. Kulików (2004) Continuous Text Translation using Text Modeling in the Thetos System. International Journal of Computational Intelligence, vol. 1, no. 4 (http://www.enformatika.org/journals/1304-2386/v1/v1-4-54.pdf), pp. 338-341. ISSN 1304-4508.
N. Suszczańska, P. Szmal, S. Kulików (2004) Continuous Text Translation using Text Modeling in the Thetos System. Proceedings of the International Conference on Computational Intelligence, Istanbul, Turkey, pp. 156-160. ISBN 975-98458-1-4
S. Kulików, J. Romaniuk, N. Suszczańska (2004) A syntactical analysis of anaphora in the Polsyn parser. Proceedings of the International IIS:IIPWM'04 Conference, Zakopane, Poland, pp. 444-448.
P. Szmal, J. Francik, N. Suszczańska (2004) Teaching Sign and Phonic Languages with Thetos Translation System. In: M. Auer, U. Auer (eds.), The Future of Learning, ICL: Interactive Computer Aided Learning Conf., Villach, Austria. Kassel University Press, ISBN 3-89958-089-3.
J. Francik, P. Szmal (2004) Multimedia Dictionary of the Polish Sign Language in Teaching People with Hearing Impairments. In: M. Auer, U. Auer (eds.) The Future of Learning, ICL: Interactive Computer Aided Learning, Int. Conf., Villach, Austria. Kassel University Press, ISBN 3-89958-089-3.
M. Ciura (2004) Rozpoznawanie wyrazów w tekście polskim z zastosowaniem acyklicznych automatów skończonych. Rozprawa doktorska. Politechnika Śląska, Gliwice
N. Suszczańska, P. Szmal, A. Zawisza (2004) Didactic games help deaf children in learning to read. In: M. Auer, U. Auer (eds.), The Future of Learning, ICL: Interactive Computer Aided Learning Conf., Villach, Austria. Kassel University Press, ISBN 3-89958-089-3.
N. Suszczańska (2003) SG-Grammar of Polish Syntax. Workshop "Speech Analysis, Synthesis and Recognition in Technology, Linguistics and Medicine". Szczyrk, 23-25.09.2003. Abstract in: Archives of Acoustics, vol. 28, no. 3, p. 256.
N. Suszczańska (2003) GS-gramatyka języka polskiego. Full text in: G. Demenko, A. Izworski, M. Michałek (eds.), Conf. Procs.: Speech Analysis, Synthesis and Recognition in Technology, Linguistics and Medicine, Szczyrk 2003. Uczelniane Wydawnictwa Naukowo-Dydaktyczne AGH, Kraków, pp. 113-117.
D. Grund, N. Suszczańska (2003) A syntactic-generative digital dictionary in the parser of system THETOS. Workshop "Speech Analysis, Synthesis and Recognition in Technology, Linguistics and Medicine". Szczyrk. Abstract in: Archives of Acoustics, vol. 28, no. 3, 2003, p. 258.
D. Grund, N. Suszczańska (2003) Elektroniczny słownik syntaktyczno-generatywny w parserze systemu Thetos. In: G. Demenko, A. Izworski, M. Michałek (eds.), Conf. Procs.: Speech Analysis, Synthesis and Recognition in Technology, Linguistics and Medicine, Szczyrk 2003. Uczelniane Wydawnictwa Naukowo-Dydaktyczne AGH, Kraków, pp. 58-61.
S. Kulików (2003) Implementacja serwera analizy lingwistycznej dla systemu THETOS - translatora tekstu na język migowy. Studia Informatica, vol. 24, no. 3 (55), Gliwice, str. 171-178.
P. Szmal, S. Kulików (2003) Support for Deaf People at Web Browsing. 3rd IASTED International Conference Artificial Intelligence and Applications – AIA'2003. Benalmadena, Spain, pp. 13-17.
P. Szmal, S. Kulików (2003) System Thetos w serwisie tekstów i streszczeń z tłumaczeniem na język migowy. Workshop "Speech Analysis, Synthesis and Recognition in Technology, Linguistics and Medicine". Szczyrk, 23-25.09.2003. Abstract in: Archives of Acoustics, vol. 28, no. 3, p. 259.
P. Szmal, S. Kulików (2003) System Thetos w serwisie tekstów i streszczeń z tłumaczeniem na język migowy. Full text in: G. Demenko, A. Izworski, M. Michałek (eds.), Conf. Procs.: Speech Analysis, Synthesis and Recognition in Technology, Linguistics and Medicine, Szczyrk. Uczelniane Wydawnictwa Naukowo-Dydaktyczne AGH, Kraków, pp. 118-121
A. Szarowicz, M. Mittmann, P. Remagnino, J. Francik (2003) Automatic Acquisition of Actions for Animated Agents. 4th European GAME-ON Conference on Simu-lation and AI in Computer Games, London, United Kingdom
N. Suszczańska (2003) GS-model składni języka polskiego, Speech and Language Technology, Red. G. Demenko, M Karpiński, K. Jassem, Polskie Towarzystwo Fonetyczne, vol. 7, Poznań.
D. Grund (2002) Biblioteka funkcji dostępu do danych słownika syntaktycznego czasowników polskich. Studia Informatica, Vol. 23, No. 4 (51) pp. 71-84.
J. Francik, P. Fabian (2002) Animating Sign Language in the Real Time, 20th IASTED International Multi-Conference Applied Informatics, Innsbruck, Austria, pp. 276-281.
N. Suszczanska, P. Szmal, J. Francik (2002) Translating Polish Texts into Sign Language in the TGT System, 20th IASTED International Multi-Conference Applied Informatics, Innsbruck, Austria, pp. 282-287.
P. Szmal, N. Suszczanska (2002) Tłumaczenie tekstów na język migowy w systemie TGT–1: zasady i realizacja, Speech and Language Technology, eds.: G. Demenko, M. Karpiński, K. Jassem, vol. 6, 113-124.
J. Francik, P. Fabian (2001) Synthesis and presentation of the Polish sign language gestures. 1st International Conf. on Applied Mathematics and Informatics at Universities, Gabcikovo, Slovakia.
N. Suszczańska, M. Lubiński (2001) POLMORPH, Polish Language Morphological Analysis Tool, 19th IASTED International Conference APPLIED INFORMATICS - AI’2001, Innsbruck (Austria), pp. 84-89.
P. Szmal, N. Suszczańska (2001) Selected problems of translation from the Polish written language to the sign language. Archiwum Informatyki Teoretycznej i Stosowanej, Tom 13, z. 1.
D. Grund (2000) Komputerowa implementacja słownika syntaktyczno-generatywnego czasowników polskich. Studia Informatica, Vol. 21, No. 3 (41), pp. 243-256.
N. Suszczańska, M. Forczek, A. Migas (2000) Wieloetapowy analizator morfologiczny. Speech and Language Technology, eds.: W. Jassem, C. Basztura, G. Demenko, K. Jassem, vol. 4, pp. 155–165.
N. Suszczańska (1999) Komputernaja grammatika sintaksiczeskich grupp, Cybernetics and Systems Analysis, N 6, s. 166–175.
N. Suszczańska, P. Szmal, B. Szczepankowski (1999) Koncepcja programu tłumaczenia komputerowego z języka polskiego pisanego na język migowy, Postscriptum, Nr 27-29, 1998–1999, s.63–72.

(zwiń listę publikacji)