Makedonski znanstvenici s Fakulteta elektrotehnike i informacijske tehnologije iz Skoplja stvorili su pametne naočale koje mogu detektirati raspoloženje kod ljudi. taj inovativni bežični uređaj koristi optičke senzore, a sveučilišni profesor i inovator, doktor Hristijan Ǵoreski, objasnio je za Bloomberg Adriju kako funkcioniraju i na koji način se prikupljaju podaci.
"Izrazi lica nastaju kontrakcijom mišića face. Naočale OCOsense, opremljene vlasničkim senzorima za OCO optomiografiju (OMG), mjere male promjene u aktivaciji mišića uzimanjem uzoraka do šest tisuća puta u sekundi. Ta inovativna tehnologija omogućava naočalama da detektiraju suptilne izraze lica, pokrete čeljusti i emocionalne reakcije u stvarnom vremenu", otkriva.
Objašnjava da se tehnologija OCOsense sastoji od niza optičkih OCO senzora, IMU senzora s devet osi, senzora koji mjeri atmosferski tlak i mikrofona. Optički senzori su ugrađeni u okvir kako bi pokrivali ključne mišićne skupine povezane s promjenom ponašanja.
Podaci sa senzora mogu se prenijeti preko Bluetootha do mobilnog uređaja. Naočale sadrže dvije LIPO baterije od 220 miliampersati koje mogu napajati sustav do 16 sati, ovisno o tome koliko je korisnik aktivan. Dizajnirane su s pomoću statistički generiranih modela glava i optimizirane za udobnost i stabilnost dok se nose, čime se ograničavaju artefakti pri kretanju. Optički senzori postavljeni su kako bi detektirali aktivaciju ključnih mišića povezanih s pokretima lica na obrazima, između i iznad obrva te ponad sljepoočnica.
"Podaci senzora obrađuju se algoritmima umjetne inteligencije i s pomoću aplikacije za pametne telefone i cloud infrastrukture nude sveobuhvatnu platformu za analizu raspoloženja i ponašanja korisnika. Sustav tako nudi dubinsku analizu i razumijevanje izraza lica, aktivnosti i ponašanja, transformirajući način na koji istraživači, tvorci sadržaja i liječnici angažiraju i tumače ljudske emocije i reakcije izvan laboratorija", kaže profesor.
Upotreba u svakodnevnom životu
Ǵoreski kaže da je njihova tehnologija, poznata kao OCOsense, prva platforma na svijetu sposobna prepoznati izraze lica, ljudske aktivnosti i ponašanje. Taj alat mogao bi korisnicima omogućiti daljinsko praćenje kućnih tretmana i medicinskih terapija, posebno za osobe sa stanjima kao što su depresija, Parkinsonova bolest, paraliza lica i slične bolesti. Sugerira da su se naočale pokazale praktičnima i za praćenje različitih ponašanja povezanih sa svakodnevnim aktivnostima, kao što su socijalna interakcija i prehrana.
Poticaj za stvaranje tog jedinstvenog proizvoda dao je plastični kirurg doktor Charles Nduka, osnivač kompanije Emtek Labs sa sjedištem u Engleskoj, u kojoj je Ǵoreski postao izvršni direktor.
Za svoje preglede i operacije pacijenata s paralizom ličnog živca doktor Nduka koristio je senzore za lice, konkretno elektromiografiju (EMG) za mjerenje živčanih impulsa facijalnih mišića. Neki pacijenti su bili zaintrigirani tom tehnologijom, pa su pitali mogu li koristiti slična mjerenja i trenirati lice kod kuće. Svjestan da se radi o specijaliziranoj medicinskoj opremi koja puno košta i koja se može koristiti samo u kliničkim uvjetima, dobio je ideju da stvori pametne maske ili pametne naočale koje će se moći koristiti svakodnevno, ali i koje će biti pristupačnije s financijskog aspekta.
Ǵoreski i njegov tim prvo su razvili pametnu masku emteqPRO, a potom 2021. godine i prvi prototip pametnih naočala OCOsense, koje mogu beskontaktno mjeriti izraze lica korisnika koji ih nosi s pomoću optičkih senzora. Ove godine predstavili su i poboljšanu verziju OCOsense V2.
Za svoj izum prije dvije godine osvojili su prvu nagradu na prestižnoj međunarodnoj znanstvenoj konferenciji UbiComp i ISWC u Velikoj Britaniji. Priznanje su dobili za najbolju demonstraciju inovativne tehnologije, za prvu verziju svojih pametnih naočala. Prije nepunih mjesec dana dobili su još dva priznanja, ovaj put na konferenciji Intelligent Environments u Ljubljani, prvu nagradu za najbolji znanstveni rad i prvu nagradu za najbolju prezentaciju za drugu verziju OCOsense naočala.
Još uvijek nema definirane cijene za taj revolucionarni proizvod koji ima potencijal da se efektivno komercijalizira i kroz mjesečni plan pretplate. Trenutno su naočale dostupne prvenstveno za istraživačke svrhe. Iz kompanije naglašavaju da je svaki par naočala ručno izrađen, što dodatno utječe na konačnu cijenu koja, ovisno o zahtjevima klijenta, lako može dosegnuti i 10 tisuća eura. Zato uređaj trenutno ostaje dostupan prvenstveno za istraživačke svrhe. Ipak, iz kompanije prepoznaju obećavajuće tržište za korištenje tih naočala za praćenje navika u prehrani.
"Osim što prepoznaju izraze lica, naočale mogu pratiti aktivnosti žvakanja (jedenja). Najnovija verzija uključuje i kameru okrenutu prema dolje koja može fotografirati obroke. Kada se kombinira s moćnim velikim jezičnim modelima, ta funkcija može pružiti točne informacije o obroku, kao što su nutritivni sadržaj i veličina porcija. Osim toga, naočale mogu procijeniti aktivnosti i potrošene kalorije i tako ponuditi sveobuhvatno rješenje za optimalan balans", kaže Ǵoreski.
S međunarodnim nagradama do britanskih investitora
Ǵoreski je sa svojim bratom doktorom Martinom Ǵoreskim u Sjevernoj Makedoniji 2019. osnovao startup za umjetnu inteligenciju AIDEA Lab. Njihov cilj je iskoristiti svoju znanstvenu i istraživačku ekspertizu kako bi inovirali u tom području. S brojnim znanstvenim publikacijama i pet pobjeda na međunarodnim natjecanjima u strojnome učenju za podatke sa senzora, imaju značajnu prednost u odnosu na konkurenciju i ogroman potencijal za razvoj. Sastavni dio njihova tima od samih početaka su i Ivana Kiprijanovska te Simon Stankoski, magistri iz područja umjetne inteligencije.
Njihov potencijal prepoznali su u Emtek Labsu te je 2020. godine AIDEA Lab postao dio kompanije. Ǵoreski je prvo vodio odjel za umjetnu inteligenciju, a danas je izvršni direktor za tehnologiju i predvodi tim od 15-ak ljudi u Skoplju. Ostatak inženjerskog i proizvodnog tima kompanije je u Brightonu. Kao glavni izvršni direktor, 2023. godine im se pridružio Stin Strand, bivši prvi čovjek hardverskog odjela Snapa.
Iz kompanije kažu da polovicu ukupnih investicija osiguravaju putem nepovratnih sredstava, a ostatak su sredstva od privatnih investitora u Engleskoj.