Käännettävät tekstit ja tulkatut vuorovaikutustilanteet ovat tavalla tai toisella multimodaalisia, eli niissä yhdistyvät esimerkiksi kuva ja sana tai puhe ja kehollisuus eri tavoin. Multimodaalisissa teksteissä, kuten elokuvissa ja kuvitetuissa kirjoitetuissa teksteissä, verbaalisen kielen ohella käytetään erilaista visuaalista ja/tai kuuloon liittyvää sisältöä, joka on vuorovaikutuksessa sanojen kanssa ja vaikuttaa multimodaalisen tekstin lopulliseen tulkintaan. Kääntäjien, tulkkien sekä translatoristen tilanteiden tutkijoiden on otettava huomioon kaikki tekstissä tai tilanteessa vaikuttavat moodit, ja heidän on myös oltava tietoisia siitä, miten ne vaikuttavat yhdessä merkitysten tuottamisessa ja tulkinnassa. Myös käännösprosessi – olipa se sitten yksittäisen kääntäjän tai käännöstiimin – on multimodaalinen, ja esimerkiksi tiimityönä tehtävä kääntäminen perustuu ihmisten väliseen, multimodaaliseen vuorovaikutukseen. Kieltenvälisen kääntämisen lisäksi multimodaalisen merkityksenmuodostamisen tutkimus on huomattavan tärkeää saavutettavuuden kentällä: esimerkiksi kuvailutulkkauksessa visuaalisessa muodossa esitetty tieto muutetaan sanalliseen muotoon, mikä vaatii multimodaalisen kokonaisuuden syvällistä ymmärtämistä.
MULTI (Multimodaalisuus kääntämisessä ja tulkkaamisessa) -ryhmä tarkastelee multimodaalisen merkityksenmuodostamisen roolia kääntämisessä ja tulkkauksessa. Tarkastelun kohteena on se, miten multimodaalisuuden eri muodot ja kääntämisen materiaalisuus vaikuttavat toisaalta kääntäjien ja tulkkien työhön, toisaalta työn vastaanottajiin. Ryhmän tutkimuskohteet kattavat useita eri kieliä (suomi, englanti, venäjä, saksa, unkari, italia ja espanja) ja multimodaalisen, kulttuurienvälisen viestinnän osa-alueita, kuten kääntäjien välisen vuorovaikutuksen, tulkkauksen, audiovisuaalisen kääntämisen, kuvailutulkkauksen sekä kuvitettujen tekstien ja sarjakuvien kääntämisen.
MULTIn tavoitteena on
- kehittää uudenlaisia tutkimuksellisia lähestymistapoja, joiden avulla voidaan tarkastella multimodaalisten aineistojen ja tilanteiden monimuotoisuutta
- visioida uusia tapoja käsittää ja käsitteellistää kääntämistä multimodaalisesta, intermodaalisesta, intersemioottisesta ja materiaalisesta näkökulmasta
- kehittää poikkitieteellisiä tapoja, joiden avulla multimodaalisten viestien kääntämistä voidaan lähestyä uusista ja laajemmista näkökulmista
- arvioida multimodaalisten tekstien ja tilanteiden kääntämisen ja sen tutkimuksen nykyistä tilaa ja korostaa tutkimuksen tarvetta käännöstieteen sekä sen lähialojen alueella.
MULTI tutkii eri moodien viestinnällisiä funktioita suhteessa toisiinsa sekä sitä, millä tavoin
- käännös toimii osana multimodaalista kokonaisuutta
- merkityssisällöt siirtyvät moodista toiseen
- materiaalinen media muovaa tekstikokonaisuuden merkityssisältöä
- merkityksiä muodostetaan ja niistä neuvotellaan käännösprosessiin osallistuvien toimijoiden vuorovaikutuksessa.
Tutkimusryhmän johtaja
Jäsenet
Eliisa Pitkäsalo, yliopistonlehtori, dosentti, Sarjis-tutkimusryhmä (MULTI:n johtaja vuosina 2016-2024)
Anne Ketola, yliopistotutkija, FT, Sarjis
Riitta Oittinen, emerita yliopistonlehtori, dosentti
Laura Hekanaho, tutkijatohtori
Chiara Galletti, väitöskirjatutkija
Riku Haapaniemi, väitöskirjatutkija
Tero Ikävalko, yhteiskuntatieteiden väitöskirjatutkija
Mira Kainulainen, väitöskirjatutkija, Sarjis
Betta Saari, väitöskirjatutkija
Frederike Schierl, väitöskirjatutkija
Jäsenryhmät ja affiliaatiot
Eliisa Pitkäsalo, Laura Kalliomaa-Puha, Anne Ketola, Vaula Haavisto, Kirsi Günther, Mira Kainulainen, Jan Pitkäsalo
Sarjis etsii keinoja kehittää oikeudellisia asiakirjoja saavutettavampaan suuntaan ja selvittää, voiko asiakirjojen visualisoinnilla edistää tiedon saavutettavuutta. Hankalan sisällön (esimerkiksi termien) muokkaaminen helpommin hahmotettavaksi lisää tekstien sisällön ymmärtämistä ja tukee siten asiakkaan itsemääräämisoikeutta ja osallisuutta. Nykyisissä hankkeissaan Sarjis kääntää erilaisia asiakirjoja sarjakuvaksi.
Tampere Accessibility Unit (TACCU)
Useat MULTIn tutkijat toimivat myös osana TACCUa, joka on ainutlaatuinen, monitieteinen saavutettavuuden tutkimuksen ja koulutuksen keskus Tampereen yliopistossa. TACCU yhdistää kieli-, käännös-, viestintä- ja tietoteknisten tieteiden tutkijoita ja opiskelijoita.
Rahoitetut hankkeet
From the margins to the masses: Standard practices and innovative uses of technology in augmenting different abilities of people in the world of work (NewWorkTech, 2024-2027, Horizon Europe research & innovation action).
Maija Hirvonen (johtaja, PI) & Plural-tutkimuskeskus, Roope Raisamo & TAUCHI-tutkimuskeskus, Tampereen yliopisto (FI), Oulun yliopisto (FI), Kööpenhaminan yliopisto (DK), Warwickin yliopisto (UK), Italian kansallinen tutkimuskeskus (IT), Euroopan kuntoutusjärjestöjen verkosto (BE), Autismisäätiö (FI), Italian Down-ihmisiä edustava järjestö (IT), Tanskan näkövammaisten henkilöiden instituutti (DK), BeMyEyes -teknologiayritys (DK).
NewWorkTech-projekti tutkii työelämän saavutettavuutta tarkastelemalla, miten vammaiset henkilöt yhtäältä ja kaikenlaiset työntekijät toisaalta voivat hyödyntää kompetenssejaan erityisesti teknologioiden avustamana. Projektissa tehdään perustutkimukseen perustuvaa käytännön kehitystyötä ja sosiaalista innovointia: teemme empiiristä tutkimusta multimodaalisesta vuorovaikutuksesta autenttisissa työelämän tilanteissa, tutkimme teknologian teoreettista perustaa, kehitämme uusia teknologisia ratkaisuja työelämän tilanteisiin sekä laadimme suosituksia eri toimijoille ja päätöksentekoon. Tavoitteenamme on työelämä, johon ihmiset voivat osallistua erilaisine kykyineen ja kompetensseineen ja jossa erilaisuus on resurssi. Teknologian roolina on ihmisten kyvykkyyksien lisääminen, ei korvaaminen.
Kuvailutulkkauksen käsikirja (Koneen säätiö, 2024–2025).
Guided Audio Captioning for Complex Acoustic Environments.
Annamaria Mesaros (PI), Irene Martin Morato, Manu Harju (Audio Research Group), Maija Hirvonen, Riku Haapaniemi (MULTI). Jane and Aatos Erkko Foundation (2022-2023).
Hankkeessa kehitetään uusia lähestymistapoja koneoppimiseen, jolla pystytään tuottamaan automaattisia kielellisiä kuvauksia arkisiin ääniympäristöihin. Hankkeen tavoitteena on myös oppia lisää siitä, miten ihmiset (sekä näkevät että sokeat) tulkitsevat maailmaa äänen kautta ja opettaa älykkäitä koneita simuloimaan tuota tulkintatapaa.
Kielen käyttö strukturoimattoman datan automaattiseen tulkintaan.
Tuomas Virtanen (PI, Audio Research Group), Parthasaarathy Ariyakulam Sudarsanam, Huang Xie (Audio Research Group); Maija Hirvonen, Laura Hekanaho (MULTI); Frank Emmert-Streib (Predictive Medicine and Data Analytics Lab), Nadeesha Perera, Pavel Davidson (Data Science). Emil Aaltosen säätiö (2021–2023).
Hankkeessa mallinnetaan strukturoimatonta dataa sekä luonnollista kieltä koneoppimisen menetelmin sekä kehitetään näitä menetelmiä kielitieteen pohjalta. Strukturoimattomasta datasta, kuten kuvista, äänestä tai mittaussignaaleista, lasketaan syvien neuroverkkojen avulla kielellisiä esitysmuotoja. Monitieteisessä tutkimushankkeessa yhdistyivät signaalinkäsittelyn, koneoppimisen, terveysteknologian sekä käännös- ja kielitieteiden asiantuntemus.
Graphic Justice – Oikeutta sarjakuvan keinoin
Eliisa Pitkäsalo (PI) ja Sarjis-tutkimusryhmä (Laura Kalliomaa-Puha, Anne Ketola, Vaula Haavisto, Kirsi Günther, Mira Kainulainen ja Jan Pitkäsalo). Suomen Akatemia (2020–2024).
Hankkeessamme tarkastellaan monitieteisesti, miten erilaisten oikeudellisten asiakirjojen – esimerkiksi sopimusten tai päätösten – ymmärrettävyyttä voi parantaa hyödyntämällä sarjakuvan keinoja. Asiakkaiden on joskus vaikea ymmärtää virallisia asiakirjoja, koska kieli on monimutkaista vieraiden termien tai täsmällisyyden tavoittelun takia. Väärinymmärrysten vuoksi ihmiset eivät saa heille kuuluvia sosiaalisia oikeuksia. Oikeutta sarjakuvan keinoin -hanke tarttuu tähän ongelmaan tarkastelemalla, voiko visuaalinen asiakirja olla oikeudellisesti pätevä ja parantaako visuaalinen muoto asiakirjan ymmärrettävyyttä ja asiakkaan oikeuksiin pääsyä. Hanke toteutetaan SOC:n ja ITC:n tutkijoiden yhteistyönä. Hankkeen johtaja on Eliisa Pitkäsalo (ITC).
Sanasta kuvaksi – Word to Image
Laura Kalliomaa-Puha (PI) ja Sarjis-tutkimusryhmä (Eliisa Pitkäsalo, Anne Ketola,
Vaula Haavisto, Kirsi Günther, Mira Kainulainen ja Jan Pitkäsalo). Koneen säätiö (2020–2023)
Sarjistutkimusryhmän toisessa hankkeessa tarkastellaan sosiaalihuollon asiakirjojen visualisointia. Erilaisten viranomaistekstien kieli on usein vaikeaselkoista. Erityisen vaikeaa se on sellaisten asiakkaiden näkökulmasta, joiden kieli- tai lukutaito on puutteellista tai joilla on erilaisia kognitiivisia vaikeuksia ymmärtää lukemaansa. Hankkeessa tarkastelemme sitä, voiko sosiaalihuollon asiakirjojen ymmärrettävyyttä – ja siten myös saavutettavuutta – parantaa kääntämällä niitä sarjakuvan muotoon. Lisäksi selvitämme, mitä sarjakuvamuotoisen asiakirjan tekijöiden on otettava huomioon, jotta asiakirja olisi myös visuaalisessa muodossaan oikeudellisesti pätevä. Yhtenä tutkimuskohteena on valvotun tapaamisen sopimus, jonka sarjakuvaversiota kehitämme yhteistyössä Ensi- ja turvakotien liiton kanssa. Hanke toteutetaan ITC:n ja SOC:n tutkijoiden yhteistyönä. Hankkeen johtaja on Laura Kalliomaa-Puha (SOC).
MUTABLE: Multimodal Translation with the Blind
Maija Hirvonen (PI), Suomen Akatemia (2017–2020)
MUTABLE tutki sokeista ja näkevistä koostuvien kuvailutulkkaustiimien yhteistyötä. Tutkimuksessa tarkasteltiin käännösprosesseja, tiimityötä, jaettua, vuorovaikutteista kognitiota sekä multimodaalista vuorovaikutusta sokeiden ja näkevien henkilöiden välillä.
Meneillään olevat väitöskirjat ja muut tutkimukset
The One Who Speaks Last Speaks for All. Mediating Mechanisms at Play in the Collaborative Indirect Translation of Multimodal Children’s Storybooks (väitöskirja)
Chiara Galletti
Väitöskirjatutkimuksessa tarkastellaan lastenkirjallisuuden kääntämistä ja siihen liittyvää erityispiirrettä: kuvaa ja sanaa yhdistävien lastenkirjojen epäsuoraa kääntämistä. Epäsuorassa käännösprosessissa käännös tehdään kahden asiantuntijan yhteistyönä: ensin kääntäjä tekee kertomuksesta raakakäännöksen, jonka sitten kohdekielinen asiantuntija muokkaa kohdeyleisölle sopivaksi ja ääneen luettavaksi. Tutkimuksessa sovelletaan Andrew Chestermanin (2019) konsilienssin käsitettä ja Marco Dallarin (2012) narratiivisuuden teoriaa. Tutkimuksen teoreettiseen viitekehykseen kuuluu myös kansainvälisen tutkijaverkoston IndirecTRansin (Assis Rosa, Pieta ja Bueno Maia 2019) epäsuoraa kääntämistä koskeva tutkimus. Tutkimuksen empiirinen osuus keskittyy tarkoin rajattuun aineistoon, joka koostuu italialaisen lastenkirjailija Bianca Pitzornon tekemistä multimodaalisten lastenkirjojen epäsuorista käännöksistä. Tutkimusmenetelmässä yhdistyvät kontekstuaalinen ja tekstuaalinen kuvaileva analyysi.
Materiaalinen tekstikäsitys ja kääntämisen tutkimus (väitöskirja)
Riku Haapaniemi, Suomen Kulttuurirahaston apuraha.
Väitöskirjatutkimus tarkastelee materiaalisuuden käsitettä kääntämisen tutkimuksessa semiotiikan ja tekstiteorian avulla. Materiaalisuus nähdään erilaisia tekstuaalisen viestinnän muotoja yhdistävänä tekijänä: erilaisilla merkeillä ja modaalisuuksilla on oltava materiaalinen muoto, jonka vastaanottaja voi havainnoida, ja tämä muoto vaikuttaa tekstistä rakennettuun merkitykseen. Käännöstieteellä on oma, erityinen näkökulmansa näihin materiaalisiin tekstuaalisen viestinnän prosesseihin, ja materiaalisesta lähestymistavasta onkin hyötyä erilaisten kääntämisen muotojen tutkimuksessa.
Sarjakuva-asiakirjat saavutettavuuden ja osallisuuden edistämisen välineenä
Mira Kainulainen, Sarjis-tutkimusryhmä.
Väitöskirja kästtelee sarjakuva-asiakirjoja saavutettavuuden ja osallisuuden edistämisen välineenä. Sarjakuva-asiakirjat ovat sarjakuvaversioita tekstiasiakirjoista. Tutkimuksen monitieteinen teoreettinen viitekehys rakentuu funktionaalisen käännösteorian ympärille ja sisältää käännöstieteen lisäksi aineksia yhteiskuntatutkimuksesta sekä sarjakuvatutkimuksesta. Tutkimuksen tavoite on kehittää funktionaalista käännösteoriaa intersemioottisen kääntämisen tarpeisiin sekä kartuttaa tietoa sarjakuva-asiakirjojen ominaisuuksista ja toimivuudesta käyttäjien näkökulmasta. Pyrin osoittamaan, että käyttäjäkeskeisyys on oleellinen osa saavutettavaa viestintää, jossa lähtökohtana on käyttäjän viestinnälliset tarpeet. Näin ollen saavutettava viestintä parantaa käyttäjien osallisuutta, koska se auttaa heitä ymmärtämään heitä koskevaa viestintää.
Vuorovaikutuksen ja kielenkäytön merkitys näkövammaisten henkilöiden kuvailutulkattujen kuvataidekokemusten rakentumisessa (väitöskirja)
Betta Saari, Emil Aaltosen säätiön apuraha.
Väitöskirjassani tutkin vuorovaikutuksen ja kielenkäytön merkitystä näkövammaisten henkilöiden kuvailutulkattujen kuvataidekokemusten rakentumisessa. Väitöskirjani asettuu kielentutkimuksen lisäksi saavutettavuuden ja kokemuksen tutkimuksen aloille. Tarkastelen kuvataidekokemusten rakentumista yhteistoimintana sosiaalisen vuorovaikutuksen ja kielenkäytön näkökulmasta kuvailutulkatuilla ja vuorovaikutteisilla taidemuseoiden opaskierroksilla. Tutkimukseni selventää sitä, mistä sosiaalisen ulottuvuuden elementeistä kuvataidekokemus rakentuu, kun museovierailijalla ei ole käytettävissään visuaalista havaintokykyä tai se on rajoittunut.
Kuvailutulkin äänenkäytön vaikutus katsojan taidekokemukseen
Tero Ikävalko
Tässä projektissa tarkastellaan kuvailutulkin äänen vaikutusta kuvailutulkkauksen käyttäjän taidekokemukseen hyödyntämällä tilastotieteellistä analyysia kuvailutulkkien äänten piirteistä.
Konekäännettyjen ruututekstitysten mahdollisuudet: vertailussa konekäännetyt ja ihmisten kääntämät tekstitykset
Frederike Schierl, Tampereen yliopiston väitöskirjatutkija, Emil Öhmannin säätiön apuraha.
Tämä väitöskirjatutkimus tutkii, miten konekäännetyt ja ihmisen kääntämät tekstitykset vastanotetaan käyttäjän näkökulmasta. Opetusvideot ovat nykyisin tärkeä oppimismenetelmä, tullen yhä tärkeämmäksi pandemian aikana ja sen jälkeen. Kuitenkaan videoiden sisältöä ei ole aina saatavilla käyttäjän omilla kielillä, minkä takia tarvitaan audiovisuaalista kääntämistä, tavallisimmin tekstityksen muodossa. Nykyisin audiovisuaalisen sisällön määrä ylittää ihmiskääntämisen resurssit. Tällöin konekäännetyt tekstitykset voivat tarjoaa matalan kynnyksen tukea ja tehdä sisällön saavutettavaksi. Hanke on vastaanottotutkimus 3R-konseptin pohjalta (response, reaction, repercussion, Gambier 2009), ja se tutkii visuaalista huomion kohdistamista ja kognitiivista kuormitusta tekstityksen prosessoinnin aikana sekä asenteita ja odotuksia tekstityksiin liittyen, erityisesti konekäännetyistä tekstityksistä. Tavoitteena on saada parempi ymmärrys konekäännettyjen tekstitysten mahdollisuuksista, kuten käytettävyydestä ja toteutuskelpoisuudesta, saavutettavuuden yhteydessä.
Keskeisiä julkaisuja
Ajankohtaiset tutkimuslistat löydät tutkijoiden Tunicris-profiileista. Tunicrisiin pääset klikkaamalla tutkijan nimeä Tutkimusyhteisö-kohdasta.
2023. Haapaniemi, Riku. Translation as meaning-construction under co-textual and contextual constraints: A model for a material approach to translation. Translation Studies. DOI: 10.1080/14781700.2022.2147988
2023 (tulossa). Anne Ketola, Eliisa Pitkäsalo & Robert de Rooy. Contracts via comics: Migrant workers and Thai fishing vessel employment contract. Teoksessa Comics and Migration: Practices and Representation, toim. Ralf Kauranen, Olli Löytty, Aura Nikkilä & Anna Vuorinne. London: Taylor & Francis.
2023 (tulossa). Pitkäsalo, Eliisa & Riitta Oittinen. On Translation and Censorship in Children’s Literature. Teoksessa Routledge Handbook of Translation and Censorship, toim. Denise Merkle & Brian Baer. London: Taylor & Francis.
2022. Hirvonen, Maija & Betta Saari. Scripted or spontaneous? Two approaches to audio describing visual art in museums. Perspectives: Studies in Translatology, (E-pub ahead of print) https://doi.org/10.1080/0907676X.2022.2046816
2022. Pitkäsalo, Eliisa, Anne Ketola, Vaula Haavisto & Laura Kalliomaa-Puha. Image analysis as a visualization tool – Translating contracts into comics. Teoksessa Research Handbook on Contract Design, toim. Marcelo Corrales, Helena Haapio & Mark Fenwick. 347–364. Cheltenham: Edward Elgar Publishing.
2021. Ketola, Anne. Visual explicitation in intersemiotic translation. STRIDON: Studies in Translation and Interpreting 1 (1): 103–122.
2020. Hirvonen, Maija & Tuija Kinnunen (toim.). Saavutettava viestintä: Yhteiskunnallista yhdenvertaisuutta edistämässä. Helsinki: Gaudeamus.
Sisältää artikkelit: Hirvonen, Kinnunen & Tiittula; Pitkäsalo & Kalliomaa-Puha; Hirvonen & Tiittula
2020. Hirvonen, Maija & Mari Wiklund. From image to text to speech – The effects of speech prosody on information sequencing in audio description. Text & Talk 41, 3, p. 309-334.
2020. Pitkäsalo, Eliisa (2020). Traduction intersémiotique et contexte : des contrats en bande dessinée en tant que documents juridiques accessibles. Meta: Translators’ Journal 65:1
2019. Pitkäsalo, Eliisa & Laura Kalliomaa-Puha. Democratizing access to Justice: the comic contract as intersemiotic translation. Translation Matters 2 (2019).
2018. Hirvonen, Maija & Tiittula, Liisa. How are translations created? Analysis of multimodal interaction as a methodology to study a team translation process. Linguistica Antverpiensia, Special issue “Methods for the Study of Multimodality in Translation” 17, 157–173.
2018. Jimenez Hurtado, Catalina, Anne Ketola &Tiina Tuominen (toim). Methods for the Study of Multimodality in Translation. Linguistica Antverpiensia – Themes in Translation Studies (17/2018).
2018. Ketola, Anne: Word–Image Interaction in Technical Translation. Students Translating an Illustrated Text (väitöskirja)
2018. Oittinen, Riitta & Eliisa Pitkäsalo. Creating Characters in Visual Narration: Comics and Picturebooks in the Hands of the Translator. In Search of Meaning and Identity Through Language; Literary, Linguistic, and Translational perspectives. Toim. Hanne Juntunen, Kirsi Sandberg & Kübra Kocabaş. Tampere Studies in Language, Translation and Literature, Series A5.
2018. Pitkäsalo, Eliisa. Images without words. Focus group as a method of experiencing comics. Methods for the Study of Multimodality in Translation. Toim. Catalina Jimenez Hurtado, Anne Ketola and Tiina Tuominen. Linguistica Antverpiensia -Themes in Translation Studies (17/2018).
2017. Oittinen, Riitta, Anne Ketola & Melissa Garavini. Translating Picturebooks. Revoicing the Verbal, the Visual and the Aural for a Child Audience. New York: Routledge.
2016. Ketola, Anne. Towards a multimodally oriented theory of translation: A cognitive framework for the translation of illustrated technical texts. Translation Studies, 9 (1), 67–81.
2016. Pitkäsalo, Eliisa & Nina Isolahti (toim.) Kääntäminen, tulkkaus ja multimodaalisuus. Menetelmiä monimuotoisten viestien tutkimiseen. Tampere Studies in Language, Translation and Literature.
Muuta
MULTI on mukana järjestämässä digitaalista saavutettavuuden opintokokonaisuutta, joka on ollut tarjolla vuodesta 2021 alkaen Tampereen yliopiston jatkuvan oppimisen koulutuksessa. Lisätietoja: Saavutettavuus digitaalisessa yhteiskunnassa
Yhteyshenkilöt
Maija Hirvonen
Professori (saksan kieli, kulttuuri ja kääntäminen)
maija.hirvonen@tuni.fi
+358 50 318 25 03
Eliisa Pitkäsalo
Yliopistonlehtori, dosentti
eliisa.pitkasalo@tuni.fi
+358 50 318 1238
Anne Ketola
Yliopistotutkija, FT
anne.ketola@tuni.fi