MULTI - Multimodaalisuus kääntämisessä ja tulkkauksessa

Käännettävät tekstit ja tulkatut vuorovaikutustilanteet ovat tavalla tai toisella multimodaalisia, eli niissä yhdistyvät esimerkiksi kuva ja sana tai puhe ja kehollisuus eri tavoin. Multimodaalisissa teksteissä, esimerkiksi elokuvissa ja kuvitetuissa kirjoitetuissa teksteissä, verbaalisen kielen ohella käytetään erilaista visuaalista ja/tai kuuloon liittyvää sisältöä, joka on vuorovaikutuksessa sanojen kanssa ja vaikuttaa multimodaalisen tekstin lopulliseen tulkintaan. Kääntäjien, tulkkien sekä translatoristen tilanteiden tutkijoiden on otettava huomioon kaikki tekstissä tai tilanteessa vaikuttavat moodit, ja heidän on myös oltava tietoisia siitä, miten ne kietoutuvat yhteen tuottamaan merkityksiä. Kieltenvälisen kääntämisen multimodaalisten muotojen lisäksi multimodaalisen merkityksenmuodostamisen tutkimus on huomattavan tärkeää saavutettavan kääntämisen kentällä: esimerkiksi kuvailutulkkauksessa visuaalisessa muodossa esitetty tieto muutetaan sanalliseen muotoon, mikä vaatii multimodaalisen kokonaisuuden syvällistä ymmärtämistä.

MULTI (Multimodaalisuus kääntämisessä ja tulkkaamisessa) -ryhmä tarkastelee multimodaalisen merkityksenmuodostamisen roolia kääntämisessä ja tulkkauksessa. Tarkastelun kohteena on se, miten multimodaalisuuden eri muodot ja kääntämisen materiaalisuus vaikuttavat toisaalta kääntäjien ja tulkkien työhön, toisaalta työn vastaanottajiin. Ryhmän tutkimuskohteet kattavat useita eri kieliä (suomi, englanti, venäjä, saksa, unkari, italia ja espanja) ja multimodaalisen, kulttuurienvälisen viestinnän osa-alueita, kuten esimerkiksi tulkkauksen, audiovisuaalisen kääntämisen, kuvailutulkkauksen sekä kuvitettujen tekstien ja sarjakuvien kääntämisen.

MULTIn tavoitteena on

  • kehittää uudenlaisia tutkimuksellisia lähestymistapoja, joiden avulla voidaan tarkastella multimodaalisten aineistojen monimuotoisuutta
  • visioida uusia tapoja käsittää ja käsitteellistää kääntämistä multimodaalisesta, intermodaalisesta, intersemioottisesta ja materiaalisesta näkökulmasta
  • kehittää poikkitieteellisiä tapoja, joiden avulla multimodaalisten viestien kääntämistä voidaan lähestyä uusista ja laajemmista näkökulmista
  • arvioida multimodaalisten tekstien ja tilanteiden kääntämisen ja sen tutkimuksen nykyistä tilaa ja korostaa tutkimuksen tarvetta käännöstieteen sekä sen lähialojen alueella

MULTI tutkii eri moodien viestinnällisiä funktioita suhteessa toisiinsa ja sitä, millä tavoin

  • käännös toimii osana multimodaalista kokonaisuutta
  • merkityssisällöt siirtyvät moodista toiseen
  • materiaalinen media muovaa tekstikokonaisuuden merkityssisältöä.

 

Tutkimusryhmän johtajat

Maija Hirvonen, tenure track -professori

Eliisa Pitkäsalo, yliopistonlehtori, dosentti, Sarjis-tutkimusryhmä

Jäsenet

Anne Ketola, yliopistotutkija, FT, Sarjis

Riitta Oittinen, emerita yliopistonlehtori, dosentti

Laura Hekanaho, tutkijatohtori

Chiara Galletti, väitöskirjatutkija

Riku Haapaniemi, väitöskirjatutkija

Tero Ikävalko, yhteiskuntatieteiden väitöskirjatutkija, laboratoriomestari

Mira Kainulainen, väitöskirjatutkija, Sarjis

Betta Saari, väitöskirjatutkija

Jäsenryhmät

Sarjis-tutkimusryhmä 

Eliisa Pitkäsalo, Laura Kalliomaa-Puha, Anne Ketola, Vaula Haavisto, Kirsi Günther, Mira Kainulainen, Jan Pitkäsalo

Sarjis etsii keinoja kehittää oikeudellisia asiakirjoja saavutettavampaan suuntaan ja selvittää, voiko asiakirjojen visualisoinnilla edistää tiedon saavutettavuutta. Hankalan sisällön (esimerkiksi termien) muokkaaminen helpommin hahmotettavaksi lisää tekstien sisällön ymmärtämistä ja tukee siten asiakkaan itsemääräämisoikeutta ja osallisuutta. Nykyisissä hankkeissaan Sarjis kääntää erilaisia asiakirjoja sarjakuvaksi.

Rahoitetut hankkeet

Guided Audio Captioning for Complex Acoustic Environments

Annamaria Mesaros (PI), Irene Martin Morato, Manu Harju (Audio Research Group), Maija Hirvonen, Riku Haapaniemi (MULTI). Jane and Aatos Erkko Foundation (2022-2023)

Hankkeessa kehitetään uusia lähestymistapoja koneoppimiseen, jolla pystytään tuottamaan automaattisia kielellisiä kuvauksia arkisiin ääniympäristöihin. Hankkeen tavoitteena on myös oppia lisää siitä, miten ihmiset (sekä näkevät että sokeat) tulkitsevat maailmaa äänen kautta ja opettaa älykkäitä koneita simuloimaan tuota tulkintatapaa. 

Kielen käyttö strukturoimattoman datan automaattiseen tulkintaan

Tuomas Virtanen (PI, Audio Research Group), Parthasaarathy Ariyakulam Sudarsanam, Huang Xie (Audio Research Group); Maija Hirvonen, Laura Hekanaho (MULTI); Frank Emmert-Streib (Predictive Medicine and Data Analytics Lab), Nadeesha Perera, Pavel Davidson (Data Science). Emil Aaltosen säätiö (2021–2023) 

Hankkeessa mallinnetaan strukturoimatonta dataa sekä luonnollista kieltä koneoppimisen menetelmin sekä kehitetään näitä menetelmiä kielitieteen pohjalta. Strukturoimattomasta datasta, kuten kuvista, äänestä tai mittaussignaaleista, lasketaan syvien neuroverkkojen avulla kielellisiä esitysmuotoja. Monitieteisessä tutkimushankkeessa yhdistyivät signaalinkäsittelyn, koneoppimisen, terveysteknologian sekä käännös- ja kielitieteiden asiantuntemus.  

Graphic Justice – Oikeutta sarjakuvan keinoin  

Eliisa Pitkäsalo (PI) ja Sarjis-tutkimusryhmä (Laura Kalliomaa-Puha, Anne Ketola, Vaula Haavisto, Kirsi Günther, Mira Kainulainen ja Jan Pitkäsalo). Suomen Akatemia (2020–2024) 

Hankkeessamme tarkastellaan monitieteisesti, miten erilaisten oikeudellisten asiakirjojen – esimerkiksi sopimusten tai päätösten – ymmärrettävyyttä voi parantaa hyödyntämällä sarjakuvan keinoja. Asiakkaiden on joskus vaikea ymmärtää virallisia asiakirjoja, koska kieli on monimutkaista vieraiden termien tai täsmällisyyden tavoittelun takia. Väärinymmärrysten vuoksi ihmiset eivät saa heille kuuluvia sosiaalisia oikeuksia. Oikeutta sarjakuvan keinoin -hanke tarttuu tähän ongelmaan tarkastelemalla, voiko visuaalinen asiakirja olla oikeudellisesti pätevä ja parantaako visuaalinen muoto asiakirjan ymmärrettävyyttä ja asiakkaan oikeuksiin pääsyä. Hanke toteutetaan SOC:n ja ITC:n tutkijoiden yhteistyönä. Hankkeen johtaja on Eliisa Pitkäsalo (ITC). 

Sanasta kuvaksi – Word to Image

Laura Kalliomaa-Puha (PI) ja Sarjis-tutkimusryhmä (Eliisa Pitkäsalo, Anne Ketola,

Vaula Haavisto, Kirsi Günther, Mira Kainulainen ja Jan Pitkäsalo). Koneen säätiö (2020–2023) 

Sarjistutkimusryhmän toisessa hankkeessa tarkastellaan sosiaalihuollon asiakirjojen visualisointia. Erilaisten viranomaistekstien kieli on usein vaikeaselkoista. Erityisen vaikeaa se on sellaisten asiakkaiden näkökulmasta, joiden kieli- tai lukutaito on puutteellista tai joilla on erilaisia kognitiivisia vaikeuksia ymmärtää lukemaansa. Hankkeessa tarkastelemme sitä, voiko sosiaalihuollon asiakirjojen ymmärrettävyyttä – ja siten myös saavutettavuutta – parantaa kääntämällä niitä sarjakuvan muotoon. Lisäksi selvitämme, mitä sarjakuvamuotoisen asiakirjan tekijöiden on otettava huomioon, jotta asiakirja olisi myös visuaalisessa muodossaan oikeudellisesti pätevä. Yhtenä tutkimuskohteena on valvotun tapaamisen sopimus, jonka sarjakuvaversiota kehitämme yhteistyössä Ensi- ja turvakotien liiton kanssa. Hanke toteutetaan ITC:n ja SOC:n tutkijoiden yhteistyönä. Hankkeen johtaja on Laura Kalliomaa-Puha (SOC). 

MUTABLE: Multimodal Translation with the Blind

Maija Hirvonen (PI), Suomen Akatemia (2017–2020)

MUTABLE tutki sokeista ja näkevistä koostuvien kuvailutulkkaustiimien yhteistyötä. Tutkimuksessa tarkasteltiin käännösprosesseja, tiimityötä, jaettua, vuorovaikutteista kognitiota sekä multimodaalista vuorovaikutusta sokeiden ja näkevien henkilöiden välillä. 

Meneillään olevat väitöskirjat ja muut tutkimukset

The One Who Speaks Last Speaks for All. Mediating Mechanisms at Play in the Collaborative Indirect Translation of Multimodal Children’s Storybooks (väitöskirja)

Chiara Galletti 

Väitöskirjatutkimuksessa tarkastellaan lastenkirjallisuuden kääntämistä ja siihen liittyvää erityispiirrettä: kuvaa ja sanaa yhdistävien lastenkirjojen epäsuoraa kääntämistä. Epäsuorassa käännösprosessissa käännös tehdään kahden asiantuntijan yhteistyönä: ensin kääntäjä tekee kertomuksesta raakakäännöksen, jonka sitten kohdekielinen asiantuntija muokkaa kohdeyleisölle sopivaksi ja ääneen luettavaksi. Tutkimuksessa sovelletaan Andrew Chestermanin (2019) konsilienssin käsitettä ja Marco Dallarin (2012) narratiivisuuden teoriaa. Tutkimuksen teoreettiseen viitekehykseen kuuluu myös kansainvälisen tutkijaverkoston IndirecTRansin (Assis Rosa, Pieta ja Bueno Maia 2019) epäsuoraa kääntämistä koskeva tutkimus. Tutkimuksen empiirinen osuus keskittyy tarkoin rajattuun aineistoon, joka koostuu italialaisen lastenkirjailija Bianca Pitzornon tekemistä multimodaalisten lastenkirjojen epäsuorista käännöksistä. Tutkimusmenetelmässä yhdistyvät kontekstuaalinen ja tekstuaalinen kuvaileva analyysi.

 

Materiaalinen tekstikäsitys ja kääntämisen tutkimus (väitöskirja)

Riku Haapaniemi. Suomen Kulttuurirahaston apuraha

Väitöskirjatutkimus tarkastelee materiaalisuuden käsitettä kääntämisen tutkimuksessa semiotiikan ja tekstiteorian avulla. Materiaalisuus nähdään erilaisia tekstuaalisen viestinnän muotoja yhdistävänä tekijänä: erilaisilla merkeillä ja modaalisuuksilla on oltava materiaalinen muoto, jonka vastaanottaja voi havainnoida, ja tämä muoto vaikuttaa tekstistä rakennettuun merkitykseen. Käännöstieteellä on oma, erityinen näkökulmansa näihin materiaalisiin tekstuaalisen viestinnän prosesseihin, ja materiaalisesta lähestymistavasta onkin hyötyä erilaisten kääntämisen muotojen tutkimuksessa.

 

Sarjakuva-asiakirjat saavutettavuuden ja osallisuuden edistämisen välineenä

Mira Kainulainen, Sarjis-tutkimusryhmä

Väitöskirja kästtelee sarjakuva-asiakirjoja saavutettavuuden ja osallisuuden edistämisen välineenä. Sarjakuva-asiakirjat ovat sarjakuvaversioita tekstiasiakirjoista. Tutkimuksen monitieteinen teoreettinen viitekehys rakentuu funktionaalisen käännösteorian ympärille ja sisältää käännöstieteen lisäksi aineksia yhteiskuntatutkimuksesta sekä sarjakuvatutkimuksesta. Tutkimuksen tavoite on kehittää funktionaalista käännösteoriaa intersemioottisen kääntämisen tarpeisiin sekä kartuttaa tietoa sarjakuva-asiakirjojen ominaisuuksista ja toimivuudesta käyttäjien näkökulmasta. Pyrin osoittamaan, että käyttäjäkeskeisyys on oleellinen osa saavutettavaa viestintää, jossa lähtökohtana on käyttäjän viestinnälliset tarpeet. Näin ollen saavutettava viestintä parantaa käyttäjien osallisuutta, koska se auttaa heitä ymmärtämään heitä koskevaa viestintää.

 

Vuorovaikutuksen ja kielenkäytön merkitys näkövammaisten henkilöiden kuvailutulkattujen kuvataidekokemusten rakentumisessa (väitöskirja)

Betta Saari. Emil Aaltosen säätiön apuraha

Väitöskirjassani tutkin vuorovaikutuksen ja kielenkäytön merkitystä näkövammaisten henkilöiden kuvailutulkattujen kuvataidekokemusten rakentumisessa. Väitöskirjani asettuu kielentutkimuksen lisäksi saavutettavuuden ja kokemuksen tutkimuksen aloille. Tarkastelen kuvataidekokemusten rakentumista yhteistoimintana sosiaalisen vuorovaikutuksen ja kielenkäytön näkökulmasta kuvailutulkatuilla ja vuorovaikutteisilla taidemuseoiden opaskierroksilla. Tutkimukseni selventää sitä, mistä sosiaalisen ulottuvuuden elementeistä kuvataidekokemus rakentuu, kun museovierailijalla ei ole käytettävissään visuaalista havaintokykyä tai se on rajoittunut.

 

Kuvailutulkin äänenkäytön vaikutus katsojan taidekokemukseen

Tero Ikävalko 

Tässä projektissa tarkastellaan kuvailutulkin äänen vaikutusta kuvailutulkkauksen käyttäjän taidekokemukseen hyödyntämällä tilastotieteellistä analyysia kuvailutulkkien äänten piirteistä.

 

Keskeisiä julkaisuja

Ajankohtaiset tutkimuslistat löydät tutkijoiden Tunicris-profiileista. Tunicrisiin pääset klikkaamalla tutkijan nimeä Tutkimusyhteisö-kohdasta. 

2023. Haapaniemi, Riku. Translation as meaning-construction under co-textual and contextual constraints: A model for a material approach to translation. Translation Studies. DOI: 10.1080/14781700.2022.2147988

2023 (tulossa). Anne Ketola, Eliisa Pitkäsalo & Robert de Rooy. Contracts via comics: Migrant workers and Thai fishing vessel employment contract. Teoksessa Comics and Migration: Practices and Representation, toim. Ralf Kauranen, Olli Löytty, Aura Nikkilä & Anna Vuorinne. London: Taylor & Francis.

2023 (tulossa). Pitkäsalo, Eliisa & Riitta Oittinen. On Translation and Censorship in Children’s Literature. Teoksessa Routledge Handbook of Translation and Censorship, toim. Denise Merkle & Brian Baer. London: Taylor & Francis.

2022. Hirvonen, Maija & Betta Saari. Scripted or spontaneous? Two approaches to audio describing visual art in museums. Perspectives: Studies in Translatology, (E-pub ahead of print) https://doi.org/10.1080/0907676X.2022.2046816

2022. Pitkäsalo, Eliisa, Anne Ketola, Vaula Haavisto & Laura Kalliomaa-Puha. Image analysis as a visualization tool – Translating contracts into comics. Teoksessa Research Handbook on Contract Design, toim. Marcelo Corrales, Helena Haapio & Mark Fenwick. 347–364. Cheltenham: Edward Elgar Publishing.

2021. Ketola, Anne. Visual explicitation in intersemiotic translation. STRIDON: Studies in Translation and Interpreting 1 (1): 103–122.

2020. Hirvonen, Maija & Tuija Kinnunen (toim.). Saavutettava viestintä: Yhteiskunnallista yhdenvertaisuutta edistämässä. Helsinki: Gaudeamus.

Sisältää artikkelit: Hirvonen, Kinnunen & Tiittula; Pitkäsalo & Kalliomaa-Puha; Hirvonen & Tiittula

2020. Hirvonen, Maija & Mari Wiklund. From image to text to speech – The effects of speech prosody on information sequencing in audio description. Text & Talk 41, 3, p. 309-334.

2020. Pitkäsalo, Eliisa (2020). Traduction intersémiotique et contexte : des contrats en bande dessinée en tant que documents juridiques accessibles. Meta: Translators’ Journal 65:1

2019. Pitkäsalo, Eliisa & Laura Kalliomaa-Puha. Democratizing access to Justice: the comic contract as intersemiotic translation. Translation Matters 2 (2019).

2018. Hirvonen, Maija & Tiittula, Liisa. How are translations created? Analysis of multimodal interaction as a methodology to study a team translation process. Linguistica Antverpiensia, Special issue “Methods for the Study of Multimodality in Translation” 17, 157–173.

2018. Jimenez Hurtado, Catalina, Anne Ketola &Tiina Tuominen (toim). Methods for the Study of Multimodality in Translation. Linguistica Antverpiensia – Themes in Translation Studies (17/2018).

2018. Ketola, Anne: Word–Image Interaction in Technical Translation. Students Translating an Illustrated Text (väitöskirja)

2018. Oittinen, Riitta & Eliisa Pitkäsalo. Creating Characters in Visual Narration: Comics and Picturebooks in the Hands of the Translator. In Search of Meaning and Identity Through Language; Literary, Linguistic, and Translational perspectives. Toim. Hanne Juntunen, Kirsi Sandberg & Kübra Kocabaş. Tampere Studies in Language, Translation and Literature, Series A5.

2018. Pitkäsalo, Eliisa. Images without words. Focus group as a method of experiencing comics. Methods for the Study of Multimodality in Translation. Toim. Catalina Jimenez Hurtado, Anne Ketola and Tiina Tuominen. Linguistica Antverpiensia -Themes in Translation Studies (17/2018).

2017. Oittinen, Riitta, Anne Ketola & Melissa Garavini. Translating Picturebooks. Revoicing the Verbal, the Visual and the Aural for a Child Audience. New York: Routledge.

2016. Ketola, Anne. Towards a multimodally oriented theory of translation: A cognitive framework for the translation of illustrated technical texts. Translation Studies, 9 (1), 67–81.

2016. Pitkäsalo, Eliisa & Nina Isolahti (toim.) Kääntäminen, tulkkaus ja multimodaalisuus. Menetelmiä monimuotoisten viestien tutkimiseen. Tampere Studies in Language, Translation and Literature.

 

Muuta

MULTI on mukana järjestämässä digitaalista saavutettavuuden opintokokonaisuutta, joka on ollut tarjolla vuodesta 2021 alkaen Tampereen yliopiston jatkuvan oppimisen koulutuksessa. Lisätietoja: Saavutettavuus digitaalisessa yhteiskunnassa 

 

Yhteyshenkilöt

Maija Hirvonen 

Tenure track -professori 

maija.hirvonen@tuni.fi 

+358 50 318 25 03 

 

Eliisa Pitkäsalo 

Yliopistonlehtori, dosentti 

eliisa.pitkasalo@tuni.fi 

+358 50 318 1238 

 

Anne Ketola 

Yliopistotutkija, FT 

anne.ketola@tuni.fi