Un laboratori permet “escoltar imatges i sentir sons”
By Eden
El doctor Iddo Wald em mostra dues formes abstractes: una angular i una altra arrodonida.
“Una d’aquestes formes es diu Bouba i una altra és Kiki. Quina és quina?”, em va preguntar.
“Aquesta és Bouba”, li vaig dir assenyalant la forma arrodonida.
“Això és el que diu el 90% de la gent. I no té res a veure amb la cultura o l’idioma sinó que està relacionat amb com movem la boca per pronunciar aquests sons”, em va respondre Wald amb un somriure. I va afegir: “El so agut de ‘Kiki’ i la manera com les nostres boques es mouen per pronunciar-ho està associat amb els angles aguts de la forma que veus”.
El “Efecte Bouba/Kiki” va ser informat per primera vegada pel psicòleg Wolfgang Köhler el 1929.
L’Institut Baruch Ivcher per al Cervell, la Cognició i la Tecnologia de la Universitat Reichman (BCT) a Herzliya porta avui aquesta investigació sensorial bàsica a llocs que el vell “Wolfie” no podria haver imaginat.
El professor Amir Amedi, director fundador del laboratori BCT, és un neurocientífic computacional, pioner en la investigació multisensorial. i un expert mundial en neuroplasticitat, imatges cerebrals i rehabilitació del cervell.
La llista de èxits i premis d’Amedi és molt extensa: el 2015 va ser nomenat com un dels cent “Genios Visionarios” juntament amb diversos premis Nobel.
Amedi és també saxofonista tenor del grup musical Jazz Banditos.
El juny del 2021, Amedi em va convidar a conèixer el laboratori però coordinar una entrevista presencial amb aquest home tan ocupat és com intentar atrapar un núvol. Aleshores, i parlem per telèfon.
Finalment va ser Wald, l’amable director de disseny i tecnologia de BCT, que em va mostrar el laboratori al desembre.
Ràpidament em vaig adonar que Kiki i Bouba eren les úniques formes amb un coeficient intel·lectual proper al meu (els humans allà funcional a nivell de genis).
Wald em va explicar que de manera tradicional, els neurocientífics estudiaven cada sentit per separat però que Amedi va estar entre els primers a comprendre que totes les experiències significatives eren multisensorials.
“Hi ha moltes connexions entre els sentits. Al nostre laboratori, les observem i pensem com podem crear portals entre els sentits i fins i tot reprogramar els nostres sentits”, em va dir Wald.
Veure amb les orelles
EyeMusic és una solució que converteix les imatges visuals en “paisatges sonors” que activen circuits neuronals inactius a l’escorça occipital de processament de la visió d’una persona no vident.
Aquest concepte de substitució sensorial és una de les especialitats d’Amedi.
“Amb molta pràctica en l’escolta d’imatges és possible entrenar les persones perquè vegin a través de les orelles. Un no vident sense un concepte previ dels colors pot arribar a una etapa on pot prendre una poma verda d’un bol de pomes vermelles. Això significa que la part del cervell que es fa servir per a la vista s’ha de redefinir, i també mostra que les nostres suposicions sobre la plasticitat del cervell després de certa edat eren incorrectes”, va explicar Wald.
A més, Amedi va descobrir que el cervell és molt més mal·leable del que es creia. “El que s’aprèn més endavant a la vida no és menys important que el que s’assimila aviat. És possible ensenyar al cervell a qualsevol edat, encara que falta informació de quan un era nen. Si algú mai no va estar exposat a estímuls visuals, això pot sorgir fins i tot als 50 o 60 anys”, va definir Amedi.
Per a l’especialista, totes les tecnologies al laboratori estan inspirades en aquest descobriment.
De la parla al tacte
L’entrenament d’EyeMusic és intens i llarg, però el laboratori també desenvolupa tècniques de substitució sensorial que requereixen poc d’entrenament.
Amedi i la investigadora postdoctoral Katarzyna Cieśla van ser pioneres en un dispositiu de substitució sensorial que duplica la comprensió de la parla en pronunciar la parla de forma simultània a través de l’audició i com a vibracions a la punta dels dits.
Això té un benefici obvi per a les persones amb discapacitat auditiva, però tothom necessita ajuda per entendre la parla, especialment ara que les màscares ens impedeixen veure la boca del parlant.
“Tots els sentits es processen en simultani. Si hi ha un conflicte entre la visió i l’audició, algú escoltarà allò que veu i no allò que realment escolta”, va dir Amedi.
Si hi ha molt soroll de fons o no poden veure els llavis del parlant, aquells amb una audició normal perden al voltant de deu decibels –o la meitat del contingut de la parla–.
Després d’una hora d’entrenament amb el dispositiu, 16 de les 17 persones de prova van guanyar deu decibels i van entendre la parla el doble de bé.
Les futures implementacions portàtils daquest dispositiu podrien ser útils en situacions com parlar per telèfon o aprendre un idioma estranger.
Per a les persones a l’espectre autista que tenen dificultats per comprendre les emocions de la parla, el laboratori experimenta amb el reconeixement de veu per analitzar les emocions a la veu d’un parlant i comunicar-les a través del tacte i altres estímuls sensorials.
Adi Snir, membre del laboratori de postdoctorat que té un doctorat en composició musical i tecnologia de Harvard, va ajudar a desenvolupar un sistema d’àudio al tacte que transmet la ubicació a través de la vibració.
Per exemple, aquesta tecnologia podria accelerar el temps de resposta en automòbils semiautònoms en alertar el conductor sobre un perill en un lloc específic.
Gràcies a una subvenció de la Unió Europea, el laboratori BCT treballant per traduir la temperatura al so.
Les possibles aplicacions inclouen un so que escalfa les persones a una habitació freda o que refreda la maquinària d’una fàbrica en perill de sobreescalfament.
Genis que fan el bé
Amedi va emfatitzar que cada desenvolupament a l’institut està destinat a fer el bé al món. “L’esperit emprenedor de la Universitat Reichman ens permet somiar d’allò més bé i fer projectes a gran escala. Tenim estudiants brillants i agradables i eines poderoses per estudiar el cervell. És increïble i divertit”, va manifestar.
Quan el 2019 Amedi va arribar a la Universitat Reichman procedent de la Universitat Hebrea de Jerusalem va reclutar investigadors israelians i internacionals de camps com les arts auditives i visuals, informàtica, ciència del cervell i el comportament del consumidor.
“La nostra metodologia és prendre allò que sabem i aprendre sobre el cervell per dissenyar noves tecnologies. Per això comptem amb un equip summament multidisciplinari”, va afirmar Wald.
Wald va interactuar per primera vegada amb l’equip d’Amedi quan treballava a Milab, un laboratori de recerca i creació de prototips d’interacció humà-computadora (HCI) de la Universitat Reichman.
“Quan vaig llegir el primer esborrany de l’article que van escriure, no tenia ni idea del que estaven parlant”, va reconèixer Wald amb modèstia.
Tot i això, ell mateix és un especialista: va obtenir un doble mestratge en enginyeria de disseny d’innovació del Royal College of Art i l’Imperial College de Londres; va formar part de l’equip de desenvolupament d’Intel Core; i va cofundar una startup de dispositius portàtils per a la cura de la salut abans de passar un període de cinc anys a Milab.
La ment sobre la ressonància magnètica
Wald em va portar al nou Centre d’Imatges Cerebrals Ruth i Meir Rosental, on amb una sofisticada configuració de ressonància magnètica els membres del laboratori BCT poden “fer coses fantàstiques”.
La ressonància magnètica és una valuosa eina de diagnòstic. Però haver de quedar quiet a l’estret tub fosc sovint causa ansietat i claustrofòbia.
En els adults, això condueix a ressonàncies magnètiques menys que perfectes al deu per cent dels casos, i en els nens de vegades és del 50 per cent.
En alguns casos, les persones es neguen a fer-se una ressonància magnètica o necessiten sedació.
L’equip d’Amedi treballant en experiències multisensorials econòmiques i fàcils d’implementar per relaxar adults i nens en aquest i altres entorns de tractament d’alta ansietat.
Una beca de recerca de Joy Ventures us ajudarà a crear versions tecnològicament millorades de meditació d’atenció plena, meditació d’exploració corporal i tècniques d’entrenament de l’atenció. (ATT).
En aquest tipus de pràctiques, els pacients escolten sons simultanis de diferents llocs per entrenar-los a desviar la seva atenció dels pensaments compulsius, desagradables o ansiosos.
L’experiència es podria millorar mitjançant la creació d’enregistraments multicanal en 3D que combinin com diferents persones escolten els mateixos sons a causa de la diferent arquitectura de l’orella.
En afegir visió a la barreja, el laboratori desenvolupa lents que tenen filtres i prismes que permeten la il·lusió de veure fora del tub de ressonància magnètica.
En un article futur, descriuré la col·laboració del laboratori BCT amb el fabricant de tomògrafs de ressonàncies magnètiques Siemens i el doctor Ben Corn del Centre Mèdic Shaare Zedek de Jerusalem per crear experiències virtuals d’acord amb les preferències dels pacients.
En general, l’objectiu és proporcionar un ambient excepcionalment curatiu i relaxant per als pacients, el personal i les famílies al nou Centre de Càncer de l’hospital.
Sala multisensorial
La sala multisensorial del laboratori és el camp de proves principal, i està integrada amb pantalles de projecció i altaveus per crear simulacions visuals i d’àudio immersives millorades per dispositius tàctils i altres joguines, com vestits de seguiment de moviment.
“La idea és crear experiències multisensorials complexes i repetibles, i experimentar amb les connexions entre els sentits”, va explicar Wald.
Així va ser com em va prestar un dispositiu portàtil per lligar al voltant de la meva caixa toràcica. Mentre respirava, les meves inhalacions i exhalacions es mostraven a la pantalla com un globus que s’inflava i desinflava acompanyat de música.
Dissenyada per l’estudiant de HCI Oran Goral amb l’artista visual Yoav Cohen, aquesta simulació entrena les persones a respirar de forma més natural i profunda, cosa que pot servir per ajudar els pacients a controlar la respiració durant la radioteràpia i augmentar així la eficàcia del tractament.
Tal com els fan els ratpenats
Mentre el meu temps al laboratori de BCT arribava al final, vaig començar a desitjar que algun dispositiu de flexió sensorial pogués ajudar-me a visualitzar totes les idees brillants que volen al voltant d’aquest magnífic lloc. Perquè només he pogut esgarrapar la superfície.
Wald va parlar de projectes futurs com la creació de sentits nous per ampliar l’experiència humana i mapejar aquestes experiències al cervell.
“Potser es pot veure a través de l’ultrasò, com els ratpenats. Potser és possible veure l’infraroig i la calor. Alguns animals tenen aquestes habilitats i brinden informació valuosa sobre el món que els humans no tenen”, va manifestar.
Si algú ho pot fer, és Amir Amedi i el seu talentós equip. “Al nostre laboratori, ens movem entre la ciència profunda molt teòrica i la molt pràctica”. El tipus de coses en què treballem i la metodologia que fem servir fan que el laboratori sigui únic en el camp de la neurociència”, va finalitzar.
Font: Israel21c