Miten Bing Chat muodostaisi Suomen seuraavan hallituksen?
(This one exceptionally in Finnish, because it documents a Finnish-language experiment with Bing Chat. Also, testing just-released Medium ability to embed Mastodon posts, since this begun as a thread there.)
Puolueiden annettua vastauksensa Petteri Orpon hallitustunnustelukysymyksiin, ajattelin tehdä kokeen, kuinka GPT syntetisoisi aikaan hallitusohjelman. Periaatteessa tämä tapahtuisi siten, että suomea riittävän hyvin tulkitsevalle ja tuottavalle kielimallille syötettäisiin ensin kaikkien yhdeksän eduskuntapuolueen vastaukset kysymyksiin ja sitten kysyttäisiin kukin kysymys yksi kerrallaan GPT:ltä takaisin. Käytännössä tulokset olisivat kuitenkin huomattavasti todellisesta hallitustunnustelusta poikkeavia, sillä LLM-malleilla on tapana tuottaa satunnaisgeneroidusti erilaisia vastauksia samaan syötteeseen. Tässä testissä käytin Bing Chatia, sillä se on avoimesti käytettävissä olevista ainoa, joka tuottaa kieliopillisesti laadukasta suomea ja kykenee lisäksi lukemaan webiä.
Aloitin kuitenkin suoralla tekstisyötteellä. Bing ottaa 2000 merkin syötteen käyttäjältä ja vastaa tekstillä, joka voisi olla sopiva jatko. Toistin tätä muutamaan kertaa eri puoluiden ohjelmista.
Samassa istunnossa jatkaen Bing pysyy jo asetetussa teemassa, koska sillä on kohtuullisen pitkä lyhytaikainen tekstimuisti. Tätä voi hyödyntää joko tekemällä sille jatkokysymyksiä, tai vaihtoehtoisesti kysymällä siltä samaa asiaa toistuvasti. Jälkimmäisellä tavalla saa joka kerta erilaisen vastauksen. Myös vastauksen Keskustalta, joka ei todellisuudessa halunnut näihin kysymyksiin lainkaan vastata.
Tämä ei toki ole ainoa tapa, millä automaattinen tekstigeneraattori lähtee omille teilleen. Vaihdoin kysymystä ja sain Vihreiden nimissä tuotetun vastauksen, joka poikkesi melko oleellisesti Vihreiden oikeasti antamasta. Tämä ei ole yllättävää, koska “oikea” ei ole GPT:lle relevantti tekijä, eikä sillä ole kykyä verrata tuottamaansa tekstiä ihmisen (taikka puolueen) tuottamaan.
Bing Chat perustuu OpenAI:n GPT-malliin ja sen koulutusmateriaali, vaikkakin kattavasti Internetistä kerättyä tekstiä myös suomeksi, ei kuitenkaan ole ajantasaista. Kun siltä kysyy aikaan sidotusta aiheesta, tuotetun vastauksen sisältö paljastaakin helposti, että GPT ei “ymmärrä” sen enempää sille syötteenä annettua kuin itse tuottamaansa tekstiä. Näissä kysymyksissä vähiten tulkinnanvarainen kohta tässä suhteessa oli Suomen puolustukseen liittyvä.
Kuten alussa totesinkin, valitsin tähän kokeeseen työkaluksi Bing Chatin, koska sen käyttämä GPT:n versio on varsin hyvä kieliopillisesti korrektin suomen tuottamisessa, mutta myös siksi, että Microsoft on mahdollistanut sille web-hakujen tekemisen. Bingiä voikin siksi käyttää vetämään yhteen pitkiä tekstimassoja ihmisen puolesta. Tulosten luotettavuuteen kannattaa silti suhtautua jonkinlaisella varovaisuudella.
Tilanteet, missä samaan lähtömateriaaliin on käytettävissä laaja valikoima erilaisia vastauksia antavatkin loistavan tilaisuuden testata, miten GPT tai muut tekstigeneraattorit toimivat. Kannustan sinuakin kokeilemaan saadaksesi omaa näkökulmaa aiheeseen. Muista, että GPT ei ole ihminen — käytä sitä työkaluna ja yritä tehdä sama tehtävä muutamaan otteeseen.
Otteet yllä Mastodonissa tekemästäni säikeestä. Voit kommentoida joko tätä postausta tai tulla Mastodoniin näyttämään omat esimerkkisi!
