Kielimalli

Kielimalli on todennäköisyysmalli kielelle. Kun sille antaa tekstin alun, se laskee, mitkä jatkot ovat todennäköisiä, valitsee niistä yhden ja tekee saman uudestaan seuraavalle sanalle. Yksinkertaisia kielimalleja on käytetty pitkään esimerkiksi puheentunnistuksessa ja puhelimen näppäimistön sanaehdotuksissa.

Kun nykyään puhutaan kielimallista, tarkoitetaan yleensä suurta kielimallia (engl. large language model, LLM). Niissä on miljardeja parametreja, ja ne on koulutettu niin isolla tekstimäärällä, että pelkästä seuraavan sanan ennustamisesta tulee hyödyllistä. Malli pystyy vastaamaan kysymyksiin, tiivistämään pitkän dokumentin ja kirjoittamaan toimivaa koodia.

Miten kielimalli toimii?

Teksti pilkotaan ensin tokeneiksi. Token voi olla kokonainen sana, sanan osa tai välimerkki. Suomen pitkät taivutetut sanat hajoavat usein useaksi tokeniksi, joten sama asia vie suomeksi yleensä enemmän tokeneita kuin englanniksi. Sillä on käytännön merkitystä, koska rajapintojen hinnat lasketaan tokeneina ja mallin kerralla käsittelemä tekstimäärä on rajattu.

Itse malli on neuroverkko, nykyään lähes aina transformer-arkkitehtuuria käyttävä. Koulutus tehdään vaiheissa. Esikoulutuksessa malli lukee valtavan määrän tekstiä ja oppii ennustamaan seuraavan tokenin. Hienosäädössä sitä opetetaan noudattamaan ohjeita ja keskustelemaan, usein ihmisten antaman palautteen avulla.

Malli ei aina valitse kaikkein todennäköisintä tokenia, vaan arpoo todennäköisten joukosta. Siksi sama kysymys voi tuottaa kaksi eri vastausta. Arpomisen määrää säädetään lämpötila-asetuksella (temperature).

Mikä ero on kielimallilla ja tekoälyllä?

Kielimalli on yksi tekoälyn muoto. Kuvantunnistus ja verkkokaupan suosittelut ovat nekin tekoälyä, mutta niissä ei tarvita kielimallia. ChatGPT taas on palvelu, jonka sisällä kielimalli toimii. Samaa mallia voi käyttää rajapinnan kautta myös monessa muussa sovelluksessa. Jos malli ymmärtää tekstin lisäksi kuvia tai ääntä, siitä puhutaan multimodaalisena mallina.

Onko suomenkielisiä kielimalleja?

Suuret kansainväliset mallit osaavat suomea hyvin, vaikka suomenkielistä tekstiä on niiden koulutusaineistosta vain pieni osa. Suomessa on silti koulutettu myös omia malleja. Tunnetuin on Poro, jonka Silo AI ja Turun yliopiston TurkuNLP-tutkimusryhmä kouluttivat Kajaanissa sijaitsevalla LUMI-supertietokoneella. Poro on avoin malli, joten sen voi ladata ja ajaa omalla palvelimella.

Miten kielimallia käytetään verkkosivuilla?

Sivustoon kielimalli kytketään rajapinnan kautta. Palvelin lähettää mallille kehotteen ja saa tekstin takaisin. Näin syntyy esimerkiksi haku, joka vastaa kävijän kysymykseen sivuston sisällön perusteella, tai sisällönhallinnan työkalu, joka ehdottaa kuville alt-tekstejä.

Malli tietää vain sen, mitä koulutusaineistossa oli ja mitä sille kehotteessa kerrotaan. Hinnastot, aukioloajat ja viime kuussa julkaistu tuote pitää hakea omasta sisällöstä ja antaa mallille jokaisen pyynnön mukana. Muuten malli keksii tilalle jotain uskottavan kuuloista.