光聲計(jì)算的藝術(shù)渲染圖。圖片來(lái)源:LONG HUY DA
科技日?qǐng)?bào)記者?張夢(mèng)然
德國(guó)馬克斯·普朗克光科學(xué)研究所與美國(guó)麻省理工學(xué)院研究人員合作,通過(guò)向光子機(jī)器學(xué)習(xí)添加聲波維度,成功地為可重構(gòu)神經(jīng)形態(tài)模塊奠定了基礎(chǔ)。此次成果是利用光在光纖中產(chǎn)生臨時(shí)聲波,對(duì)生成式人工智能(AI)高效解釋上下文語(yǔ)義信息至關(guān)重要。研究成果17日發(fā)表在美國(guó)科學(xué)促進(jìn)會(huì)網(wǎng)站上。
ChatGPT等語(yǔ)言模型能創(chuàng)建出表達(dá)自然的文本,并以結(jié)構(gòu)化方式總結(jié)段落。但缺點(diǎn)是,實(shí)現(xiàn)這一點(diǎn)需要巨大的能源支撐,這也意味著,隨著它們飛速發(fā)展,這些智能設(shè)備必須要有新的解決方案來(lái)加速信號(hào)處理并降低能耗。
神經(jīng)網(wǎng)絡(luò)被認(rèn)為有潛力成為AI的支柱。將它們構(gòu)建為基于光而不是電信號(hào)的光學(xué)神經(jīng)網(wǎng)絡(luò),就能高速且高效地處理大量數(shù)據(jù)。然而,迄今為止,許多實(shí)現(xiàn)光學(xué)神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)方法都依賴于固定組件和穩(wěn)定設(shè)備。
研究團(tuán)隊(duì)此次找到一種基于聲波構(gòu)建可重構(gòu)模塊的方法,用于光子機(jī)器學(xué)習(xí)。該研究的關(guān)鍵是光驅(qū)動(dòng)產(chǎn)生的行進(jìn)聲波,其可操縱光學(xué)神經(jīng)網(wǎng)絡(luò)的后續(xù)計(jì)算步驟。比起光信息流,聲波的傳輸時(shí)間要長(zhǎng)得多,因此,它們?cè)诠饫w中保留的時(shí)間更長(zhǎng),并且可依次鏈接到每個(gè)后續(xù)處理步驟。
該團(tuán)隊(duì)用實(shí)驗(yàn)演示了第一個(gè)構(gòu)建模塊——循環(huán)算子,這是循環(huán)神經(jīng)網(wǎng)絡(luò)領(lǐng)域廣泛使用的技術(shù)。它允許鏈接一系列計(jì)算步驟,并可為執(zhí)行的每個(gè)計(jì)算步驟提供上下文。
光聲循環(huán)算子利用光波導(dǎo)的固有特性,無(wú)需人工儲(chǔ)層或新制造結(jié)構(gòu),現(xiàn)已被用來(lái)區(qū)分多達(dá)27種不同的模式,展示了其在節(jié)能的同時(shí),高效處理上下文的能力。
總編輯圈點(diǎn)
本文中的循環(huán)算子最大的看點(diǎn),就是具有完全光學(xué)控制優(yōu)勢(shì)。換句話說(shuō),它完全由光控制,不需要復(fù)雜的結(jié)構(gòu)和傳感器,就能使光聲計(jì)算機(jī)在逐個(gè)脈沖的基礎(chǔ)上進(jìn)行編程。在這一成果基礎(chǔ)上,未來(lái),工程師們可在高效的光學(xué)神經(jīng)網(wǎng)絡(luò)中,使用聲波去解鎖光學(xué)神經(jīng)形態(tài)計(jì)算,這種計(jì)算還允許在當(dāng)前電信網(wǎng)絡(luò)中進(jìn)行大規(guī)模內(nèi)存計(jì)算。