Merkitysten rajoilla
Kirjoittanut Timo Bredenberg
Toteutin vuosina 2023-2024 Koneen Säätiön yksivuotisella apurahalla teoskokonaisuuden, jossa havainnoin kielen muotoutumista koneoppimiseen pohjautuvissa konekäännöksissä. Kehitin useita versioita generatiivisesta, eli itsenäisesti toimivasta ohjelmistoteoksesta, joka tuottaa aseemista kirjoitusta. Aseeminen kirjoitus on kirjoitusta, jossa ei ole sanoiksi muunnettavia merkityksiä. "Aseeminen runous tai proosa näyttää kirjoitukselta, mutta sitä ei voi lukea luonnollisten kielten tavoin, koska se ei välitä sosiaalisesti sovittuja, symbolisia tai konventionaalisia merkityksiä" (Ala-Hakula 2020, 7).
Kirjoituksen aseemisuus rippuu havainnoijasta. Oman näkökulman aseemisuuteen tuovat tekstiä tunnistavat ja kääntävät tekoälysovellukset kuten Google Lens. Sovelluksen toiminta perustuu optiseen tekstintunnistukseen ja koneoppimiseen. Sovellusta voi käyttää myös tekstien kääntämiseen, jolloin käännetyt sanat näkyvät sovelluksessa alkuperäisen tekstin päällä lisättynä tasona. Halusin selvittää millaisia tulkintoja Lensin kaltaiset sovellukset tuottavat erehtyessään tulkitsemaan aseemista kirjoitusta. Luomani Script #1 -ohjelmiston tuottaman aseemisen kirjoituksen on tarkoitus aiheuttaa Google Lensin kaltaisissa sovelluksissa tulkintoja: yksittäisiä sanoja ja jopa useita sanoja pitkiä lauseita. Käännössovelluksen tulkinnat voivat muuttua tai kadota silmänräpäyksessä.
Hallusinaatioita
Lähestyin käsialan luomista aluksi intuitiivisesti. Halusin ohjelmistoni luovan aseemista kirjoitusta, joka muistuttaa visuaalisesti ihmisen käsialaa. Ensimmäisten luonnosten jälkeen työtäni ohjasi lukemani Googlen asiantuntijoiden julkiset lausunnot, joiden pohjalta kehitin sovellukseni toimintaa. Ensimmäisten työskentelykuukausien aikana sain tuloksia aikaan: Google Lens erehtyi luulemaan kirjoitustani erityisesti arabiaksi, persiaksi ja urduksi. Myös pelkkään optiseen hahmontunnistukseen pohjautuvat järjestelmät tuottivat runsaasti merkityksiä Script #1 -kirjoituksesta.
Aseemista kirjoitusta tuottava algoritmi on melko yksinkertainen ja perustuu viivan osin satunnaiseen etenemiseen xy-koordinaatistossa rivi riviltä. Ohjelmistolla voi toteuttaa erilaisia tekstin asetteluita, jotka osaltaan aiheuttavat hämmennystä, kun kirjoitusta tulkitseva sovellus joutuu hakemaan kokonaiskäsitystä tekstityypistä ja käytetystä kielestä. Koneen tekemä kontekstualisointi toimii pohjana käännöksille ja vaikuttaa merkittävästi lopputulokseen. Siirsin Script #1 -ohjelmiston tuottamat sivut piirturilla paperiarkeille, jotka sidotutin kirjansitojalla kirjoiksi. Kirja esineenä toimii kontekstina sovellukselle, joka olettaa kirjan sisältävän merkityksellistä kirjoitusta. "Epäröidessään" koneoppimiseen pohjautuva järjestelmä alkaa hallusinoida.
Kielimallien hallusinoinnilla tarkoitetaan mallin tuottamia epätoivottuja tulkintoja, joilla ei sinällään ole mitään tekemistä hallusinoinnin biologisen merkityksen kanssa. Hallusinoinnit voivat nähdäkseni toimia aineistona kielimallien tuottamien merkitysten ja vinoumien tarkastelulle. Usein epätoivotut tulkinnat eivät ole neutraaleja, kuten malleja luovat yritykset esittävät vaan ne toisintavat ja usein myös vahvistavat luonnollisessa kielessä esiintyviä rodullistettuja ja sukupuolittuneita rakenteita.
Tarkastelemieni kielimallien vinoumat olivat havaittavissa pian aloitettuani projektin. Google Lens tulkitsi Script #1 -sovelluksen tuottaman tekstin usein arabiaksi ja alkoi toistamaan käännöksissä nimeä Muhammad. Hallusinoinnin jatkuessa vinoumat vahvistivat toisiaan ja malli päätyi tuottamaan uskonnollissävytteisiä tulkintoja. Koska Google ei ole paljastanut käytetyn tekoälymallin rakennetta, en pystynyt päättelemään vinouman lähdettä. Syynä vinoumalle voi olla esimerkiksi se että mallille on koulutettu varsin yleinen nimi käsinkirjoitettuna usealla eri käsialalla, jolloin on erittäin todennäköistä että malli päätyy tulkitsemaan epäselvätkin tuherrukset nimeksi Muhammad.
Koostin eri käännössovellusten tekemiä tulkintoja ensimmäisestä Script #1 -kirjasta. Teossarjaan kuuluvassa ääniteoksessa Interpretations synteettinen ääni lukee tulkintoja. On huomattava että hallusinoinnit ovat lähtöisin kirjoitusta tulkitsevista malleista, eivätkä ole koodattuna tuottamaani aseemiseen kirjoitukseen. Tulkinnoissa korostuivat banaaleiksi muuntuneet toteamukset kuten "Oh my god!" mutta välillä käännöksissä esiintyi myös dadaistisia runoja muistuttavia katkelmia.
Kuuntele näyte Interpretations ääniteoksesta:
Sanattomat kirjat
Työskentelyn alkuvaiheessa luomani aseeminen kirjoitus lakkasi yllättäen tuottamasta merkityksiä Google Lens sovelluksessa. Kun digitaaliset sanat katosivat kirjoituksen päältä, jäljelle jäivät ainoastaan musteviivat. Yhden kirjan sijaan päädyin lopulta tekemään kirjasarjaa, joka pyrki vastaamaan käännössovellusten teknologiseen kehitykseen. Tekstiä tunnistavien sovellusten kehittyessä ja lakatessa tekemästä sanallisia tulkintoja kirjani muuttuvat myös niille aseemisiksi. Nämä sanattomat kirjat ovat taiteellisen työni tärkeä osa sillä ne mahdollistavat kielimallien asettamia rajoja avarammat tulkinnat. Kiinnostavia eivät ole ainoastaan ne viivat, jotka sovellus muuntaa sanoiksi vaan myös ne viivat, joita sovellus ei osaa tulkita. Runoilija Karri Kokko kuvailee hetkeä, jolloin hän löysi aseemisen runouden: "Tuntui huojentavalta voimakkaalta ja lohdulliselta, kun saattoi kirjoittaa affektien tapaan ilman merkityssisältöjen hankalaa pukemista sanoiksi ja lauseiksi" (Kokko 2020, 81).
Lähteet
Ala-Hakula, Riikka. (2020). Aseeminen kirjoitus. Teoksessa Karri Kokko, Käsialoja - visuaalisia runoja. Poesia.
Kokko, Karri. (2020). Sopimuksettomassa tilassa. Teoksessa Karri Kokko, Käsialoja - visuaalisia runoja. Poesia.
