Hyppää pääsisältöön

Tech

Sibelius-viulukilpailun finaalissa testataan tekoälytuomaria

Päivitetty 07.06.2022 16:16.
Spektrogrammi Pekka Kuusiston viulunsoitosta Sibelius-viulukilpailussa 1996
Kuvateksti Spektrogramminäyte Pekka Kuusisto, Sibelius-viulukilpailu 1995, konserton 1. osan alkua
Kuva: Satu Keto / Yle

Tämän vuoden Sibelius-viulukilpailun finaalit soitetaan 27.–29.5. Helsingissä. Kilpailun finaaleissa pilotoidaan tekoälytuomaria. Tekoäly arvioi kilpailijoiden esityksiä Sibeliuksen viulukonsertosta.

Mikä tekoälytuomarikokeilu?

Kyseessä on leikkimielinen kokeilu, joka ei vaikuta kilpailun lopputulokseen. Teko- tai paremmin sanottuna tukiälytuomarin tulokset julkistetaan vasta sen jälkeen, kun tuomaristo on julkistanut voittajat.

Kokeilun on tilannut ja rahoittanut Yle Innovaatiot ja sen toteuttaa oululainen AISpotter.

Mitä tutkitaan?

Kokeilussa tutkitaan, voiko syväoppivaa neuroverkkoa opettaa arvioimaan taiteellista suoritusta.

Miksi tutkitaan juuri Sibelius-viulukilpailun finalisteja?

Olemme kiinnostuneita siitä, miten syväoppivia neuroverkkoja voi käyttää tulevaisuudessa. Jean Sibelius -viulukilpailu on tällaisen kokeilun kannalta kiinnostava kohde, koska Yle on taltioinut kaikki voittajaesitykset vuodesta 1965 lähtien.

Arkistomateriaali on mahdollistanut sen, että neuroverkolle opetettavat katkelmat ovat mahdollisemman laajat ja kattavat.

Videokuvakaappaus Audacity-ohjelmasta, jolla on visualisoitu alkuperäinen äänisignaali (ylempi) ja sen spektrogrammi (alempi)
Kuvateksti Videokuvakaappaus Audacity-ohjelmasta, jolla on visualisoitu alkuperäinen äänisignaali (ylempi) ja sen spektrogrammi (alempi)
Kuva: Satu Keto / Yle

Mitä neuroverkko arvioi?

Kapellimestari ja viulisti Sakari Oramo, joka on myös Sibelius-viulukilpailun tuomariston puheenjohtaja, toimii eräänlaisena “tulkkina” musiikin ja oppivan neuroverkon välillä.

Oramo on kuunnellut finaalissa esitettävän viulukonserton kaikkien tähänastisten voittajien esitykset. Hän on poiminut teoksesta neljä kohtaa, jotka hänen arvionsa mukaan saattavat tuottaa eroja eri soittajien välillä.

Näissä kohdissa soittoa arvioidaan seuraavasti: intonaation tarkkuus, vibraton käyttö, äänen kvaliteetti, rytmin käsittely, yhteistyö orkesterin kanssa ja “se jokin” tulkinnassa.

Neuroverkon ensimmäisen tason aktivoituminen musiikin analyysin aikana
Kuvateksti Neuroverkon ensimmäisen tason aktivoituminen analyysin aikana
Kuva: Satu Keto / Yle

Miten neuroverkkoa on opetettu?

Nämä neljä Oramon valitsemaa ja arvioimaa kohtaa on irrotettu ja toimitettu AISpotterille. Neuroverkkoa on koulutettu toukokuun ajan.

Ennen koulutusta alkuperäiset ääniklipit on esikäsitelty eli normalisoitu teknisten tasoerojen poistamiseksi mm. äänentasoja tasaamalla. Jokaiselle klipeille on laskettu spektrogrammi, joka on syötteenä neuroverkolle.

Neuroverkolle annetaan parametrit ja syötetään pätkiä spektrogrammista. Neuroverkko havainnoi, mitä spektrogrammissa näkyy silloin, kun Oramo on antanut kohdasta erilaisia arvioita. Neuroverkko opettelee erilaisia painotuksia näiden annettujen arvioiden perusteella.

Neuroverkko yhdistelee tietoja ja pyrkii päättelemään opetusmateriaalin (aiempien vuosien voittajien esitysten) perusteella, kuinka paljon pisteitä esitykselle tulisi antaa.

Sakari Oramon kommentoi rooliaan tekoälyn opettajana Yle Uutisille näin:

“Kaikki voittajien esitykset käsiteltiin samanarvoisina ja kaikista arvosteltiin samat kriteerit ja totta kai niihin tuli eroja. Siellä oli mielestäni todella briljantteja esityksiä ja vähän keskeneräisiäkin. Yritin kuvata sitä arvosanoissa, jotta tekoäly oppisi ymmärtämään, että ahaa, tuo oli hyvää ja tuo oli vähemmän hyvää."

Videokuvakaappaus GPU-resurssien käytöstä neuroverkon opetuksen aikana
Kuvateksti Videokuvakaappaus GPU-resurssien käytöstä neuroverkon opetuksen aikana
Kuva: Satu Keto

Mukana kokeilussa

Yle: Katri Henriksson/ Luovat sisällöt ja Media, Sacha Lagrilliere/ Tekninen kehitystiimi ja Satu Keto/ ja Jari Lahti/ Yle Innovaatiot

AISpotter: Sami Huttunen, Anri Kivimäki ja Timo Rousti

Kiitokset: Päivi Pousar ja Lauri Ratia/ Sibelius-viulukilpailut

Vuoden 2022 Sibelius-viulukilpailun finaalit käydään 27.–29.5. Helsingin Musiikkitalossa. Kilpailua voi seurata sekä suorana että tallenteina Ylen kanavilla.

Sibelius-viulukilpailu 2022 - Toista Yle Areenassa