Inter­na­tio­na­le Zusam­men­ar­beit für gro­ße Forschungserfolge

Seit meh­re­ren Jah­ren arbei­ten das Cogni­ti­ve Sys­tems Lab (CSL) der Uni­ver­si­tät Bre­men, das Depart­ment of Neu­ro­sur­ge­ry an der nie­der­län­di­schen Maas­tricht Uni­ver­si­tät und das ASPEN Lab an der Vir­gi­nia Com­mon­wealth Uni­ver­si­tät (USA) an einer Neu­ro­sprach­pro­the­se. Das Ziel: Sprach­be­zo­ge­ne neu­ro­na­le Pro­zes­se im Gehirn direkt in hör­ba­re Spra­che umzu­set­zen. Die­ses Ziel ist nun erreicht worden:

„Wir haben es geschafft, dass unse­re Ver­suchs­per­so­nen sich reden hören, obwohl sie sich das Spre­chen nur vor­stel­len. Die Gehirn­strom­si­gna­le von frei­wil­li­gen Pro­ban­den, die sich vor­stel­len zu spre­chen, wer­den durch unse­re Neu­ro­sprach­pro­the­se direkt in eine hör­ba­re Aus­ga­be über­führt – und zwar in Echt­zeit ohne wahr­nehm­ba­re Verzögerung!“
— Pro­fes­so­rin Tan­ja Schultz, Lei­te­rin des CSL

Die inno­va­ti­ve Neu­ro­sprach­pro­the­se basiert auf einem Clo­sed-Loop-Sys­tem, das Tech­no­lo­gien aus der moder­nen Sprach­syn­the­se mit Gehirn-Com­pu­ter-Schnitt­stel­len ver­bin­det. Die­ses Sys­tem wur­de von Miguel Ang­rick am CSL ent­wi­ckelt. Als Ein­ga­be erhält es die neu­ro­na­len Signa­le der Nut­zen­den, die sich vor­stel­len zu spre­chen. Es trans­for­miert die­se mit­tels maschi­nel­ler Lern­ver­fah­ren prak­tisch zeit­gleich in Spra­che und gibt die­se hör­bar als Rück­mel­dung an die Nut­zen­den aus. „Dadurch schließt sich für die­se der Kreis vom Vor­stel­len des Spre­chens und dem Hören ihrer Spra­che“, so Angrick.

Stu­die mit frei­wil­li­ger Epilepsiepatientin

Die in „Natu­re Com­mu­ni­ca­ti­ons Bio­lo­gy“ ver­öf­fent­lich­te Arbeit basiert auf einer Stu­die mit einer frei­wil­li­gen Epi­lep­sie­pa­ti­en­tin, der zu medi­zi­ni­schen Unter­su­chun­gen Tief­en­elek­tro­den implan­tiert wur­den und die sich zur kli­ni­schen Über­wa­chung im Kran­ken­haus auf­hielt. Im ers­ten Schritt las die Pati­en­tin Tex­te vor, aus denen das Clo­sed-Loop-Sys­tem mit­tels maschi­nel­ler Lern­ver­fah­ren die Kor­re­spon­denz zwi­schen Spra­che und neu­ro­na­ler Akti­vi­tät lern­te. „Im zwei­ten Schritt wur­de die­ser Lern­vor­gang mit geflüs­ter­ter und mit vor­ge­stell­ter Spra­che wie­der­holt“, erläu­tert Miguel Ang­rick. „Dabei erzeug­te das Clo­sed-Loop-Sys­tem syn­the­ti­sier­te Spra­che. Obwohl das Sys­tem die Kor­re­spon­den­zen aus­schließ­lich auf hör­ba­rer Spra­che gelernt hat­te, wird auch bei geflüs­ter­ter und bei vor­ge­stell­ter Spra­che eine hör­ba­re Aus­ga­be erzeugt.“ Dies las­se den Schluss zu, dass die zugrun­de­lie­gen­den Sprach­pro­zes­se im Gehirn für hör­bar pro­du­zier­te Spra­che ver­gleich­bar sind zu denen für geflüs­ter­te und vor­ge­stell­te Sprache.

Wich­ti­ge Rol­le des Bre­mer Cogni­ti­ve Sys­tems Lab

„Sprach­neu­ro­pro­the­tik zielt dar­auf ab, Per­so­nen, die auf­grund kör­per­li­cher oder neu­ro­lo­gi­scher Beein­träch­ti­gun­gen nicht spre­chen kön­nen, einen natür­li­chen Kom­mu­ni­ka­ti­ons­ka­nal zu bie­ten“, erläu­tert Pro­fes­so­rin Tan­ja Schultz den Hin­ter­grund für die inten­si­ven For­schungs­ak­ti­vi­tä­ten auf die­sem Gebiet, bei denen das Cogni­ti­ve Sys­tems Lab der Uni­ver­si­tät Bre­men eine welt­weit beach­te­te Rol­le spielt. „Die Echt­zeit­syn­the­se akus­ti­scher Spra­che direkt aus gemes­se­ner neu­ro­na­ler Akti­vi­tät könn­te natür­li­che Gesprä­che ermög­li­chen und die Lebens­qua­li­tät von Men­schen deut­lich ver­bes­sern, deren Kom­mu­ni­ka­ti­ons­mög­lich­kei­ten stark ein­ge­schränkt sind.“
Die bahn­bre­chen­de Neue­rung ist das Ergeb­nis einer lang­jäh­ri­gen Koope­ra­ti­on, die im Rah­men des For­schungs­pro­gramms „Mul­ti­la­te­ra­le Zusam­men­ar­beit in Com­pu­ta­tio­nal Neu­ro­sci­ence“ gemein­sam vom Bun­des­mi­nis­te­ri­um für Bil­dung und For­schung (BMBF) und der ame­ri­ka­ni­schen Natio­nal Sci­ence Foun­da­ti­on (NSF) finan­ziert wird. Die­se Koope­ra­ti­on mit Pro­fes­sor Dean Kru­si­en­ski (ASPEN Lab, Vir­gi­nia Com­mon­wealth Uni­ver­si­ty) wur­de gemein­sam mit dem ehe­ma­li­gen Mit­ar­bei­ter des CSL, Dr. Chris­ti­an Herff, im Rah­men des erfolg­rei­chen Pro­jek­tes RESPONSE (REve­aling SPON­ta­ne­ous Speech pro­ces­ses in Elec­tro­cor­ti­co­gra­phy) auf­ge­baut. Sie wird aktu­ell mit CSL-Mit­ar­bei­ter Miguel Ang­rick im Pro­jekt ADSPEED (ADap­ti­ve Low-Laten­cy SPEEch Deco­ding and syn­the­sis using intra­cra­ni­al signals) fort­ge­setzt. Dr. Chris­ti­an Herff ist mitt­ler­wei­le Assis­tenz­pro­fes­sor an der Uni­ver­si­tät Maastricht.