語言解碼器重建“想象中的語言”
科技日報北京5月3日電 (記者張夢然)英國《自然·神經科學》發表的一篇論文,描述了一種非侵入性的語言解碼器,可通過功能性磁共振(fMRI)數據,重建感知到或想象出的語言。
過(guo)去(qu)的(de)語(yu)音(yin)解(jie)碼(ma)器(qi)被(bei)用(yong)於(yu)侵(qin)入(ru)性(xing)神(shen)經(jing)外(wai)科(ke)手(shou)術(shu)後(hou)記(ji)錄(lu)神(shen)經(jing)活(huo)動(dong),這(zhe)限(xian)製(zhi)了(le)它(ta)們(men)的(de)用(yong)途(tu)。其(qi)他(ta)使(shi)用(yong)非(fei)侵(qin)入(ru)性(xing)腦(nao)活(huo)動(dong)記(ji)錄(lu)的(de)解(jie)碼(ma)器(qi)限(xian)製(zhi)在(zai)解(jie)碼(ma)單(dan)個(ge)詞(ci)彙(hui)或(huo)短(duan)語(yu),還(hai)不(bu)清(qing)楚(chu)此(ci)類(lei)解(jie)碼(ma)器(qi)是(shi)否(fou)可(ke)用(yong)於(yu)連(lian)續(xu)的(de)自(zi)然(ran)語(yu)言(yan)。
美國得克薩斯大學奧斯汀分校研究人員開發了一個解碼器,可通過來自fMRI數據獲得的腦模式重建連續語言。他們記錄了3名參與者傾聽16小時敘事故事的fMRI數(shu)據(ju),以(yi)訓(xun)練(lian)模(mo)型(xing)在(zai)腦(nao)活(huo)動(dong)和(he)語(yu)義(yi)特(te)征(zheng)之(zhi)間(jian)進(jin)行(xing)映(ying)射(she),捕(bu)捉(zhuo)特(te)定(ding)詞(ci)組(zu)含(han)義(yi)和(he)相(xiang)關(guan)的(de)大(da)腦(nao)響(xiang)應(ying)。這(zhe)一(yi)解(jie)碼(ma)器(qi)模(mo)型(xing)隨(sui)後(hou)測(ce)試(shi)了(le)參(can)與(yu)者(zhe)聽(ting)新(xin)故(gu)事(shi)的(de)腦(nao)響(xiang)應(ying),這(zhe)些(xie)故(gu)事(shi)沒(mei)有(you)用(yong)在(zai)初(chu)始(shi)訓(xun)練(lian)數(shu)據(ju)集(ji)中(zhong)。使(shi)用(yong)這(zhe)一(yi)腦(nao)活(huo)動(dong),解(jie)碼(ma)器(qi)可(ke)生(sheng)成(cheng)詞(ci)彙(hui)序(xu)列(lie),捕(bu)捉(zhuo)到(dao)新(xin)故(gu)事(shi)的(de)含(han)義(yi),還(hai)生(sheng)成(cheng)了(le)一(yi)些(xie)精(jing)確(que)的(de)故(gu)事(shi)詞(ci)彙(hui)和(he)短(duan)語(yu)。他(ta)們(men)發(fa)現(xian),解(jie)碼(ma)器(qi)可(ke)從(cong)大(da)多(duo)數(shu)已(yi)知(zhi)處(chu)理(li)語(yu)言(yan)的(de)腦(nao)區(qu)和(he)網(wang)絡(luo)的(de)活(huo)動(dong)中(zhong)推(tui)斷(duan)連(lian)續(xu)語(yu)言(yan)。
這一解碼器還可通過fMRI數(shu)據(ju)預(yu)測(ce)某(mou)個(ge)參(can)與(yu)者(zhe)想(xiang)象(xiang)的(de)故(gu)事(shi)的(de)含(han)義(yi),或(huo)觀(guan)看(kan)一(yi)部(bu)無(wu)聲(sheng)電(dian)影(ying)的(de)內(nei)容(rong)。當(dang)一(yi)名(ming)參(can)與(yu)者(zhe)主(zhu)動(dong)聽(ting)一(yi)個(ge)故(gu)事(shi),忽(hu)略(lve)其(qi)他(ta)同(tong)時(shi)播(bo)放(fang)的(de)故(gu)事(shi),解(jie)碼(ma)器(qi)可(ke)識(shi)別(bie)出(chu)那(na)個(ge)被(bei)主(zhu)動(dong)聽(ting)的(de)故(gu)事(shi)的(de)含(han)義(yi)。
團隊對解碼器作了隱私分析,發現當它基於一名參與者的fMRI數(shu)據(ju)進(jin)行(xing)訓(xun)練(lian)時(shi),對(dui)預(yu)測(ce)另(ling)一(yi)名(ming)參(can)與(yu)者(zhe)數(shu)據(ju)的(de)語(yu)義(yi)內(nei)容(rong)預(yu)測(ce)表(biao)現(xian)不(bu)佳(jia)。他(ta)們(men)總(zong)結(jie)說(shuo),參(can)與(yu)者(zhe)的(de)合(he)作(zuo)在(zai)訓(xun)練(lian)和(he)應(ying)用(yong)這(zhe)些(xie)非(fei)侵(qin)入(ru)性(xing)解(jie)碼(ma)器(qi)中(zhong)非(fei)常(chang)關(guan)鍵(jian),而(er)未(wei)來(lai)此(ci)類(lei)技(ji)術(shu)的(de)發(fa)展(zhan),亦(yi)需(xu)要(yao)政(zheng)策(ce)保(bao)護(hu)心(xin)理(li)隱(yin)私(si)。
- 21-12-30科研人員研發出水麵智能保潔無人子母船係統 搭載動態避
- 21-12-31迄今最輕鎂同位素誕生
- 21-12-31我國瞄準智慧育種4.0時代進發
- 21-12-30研究人員開發出可自修複鈣鈦礦太陽能電池 運行500小
- 21-12-30韋布發射升空 五大天文任務可期
- 21-12-31控製調節性T細胞發育的生化“開關”找到
- 21-12-30氣候變暖影響下,這種動物或將麵臨“性別失調”
- 21-12-30“一不小心”活到200歲 太平洋岩魚的長壽秘訣人類可
- 21-12-31埃及法老木乃伊首次“數字化解封”
- 22-04-20超聲波為水下儀器和人體植入設備充電


