本發(fā)明屬于人工智能,具體涉及一種基于變分自編碼器的雙通道腦電信號壓縮重建方法。
背景技術(shù):
1、隨著神經(jīng)科學(xué)、材料科學(xué)的發(fā)展,以及人工智能技術(shù)的進步,基于腦電圖的無線腦機接口已經(jīng)成為一項熱點研究方向?;谀X電圖的無線腦機接口技術(shù)具備非侵入性、較高的時間分辨率,能夠?qū)崟r監(jiān)測腦電活動,并在疾病監(jiān)測、情緒檢測、運動想象等多個應(yīng)用場景中得到廣泛應(yīng)用。相應(yīng)地,無線傳感器設(shè)備經(jīng)過信號采集,需要將發(fā)射信號經(jīng)過無線信道傳輸?shù)绞斩送瓿珊罄m(xù)任務(wù)。然而,無線腦電采集設(shè)備一般包含幾個到幾百個采集通道,采樣頻率高、采樣點分辨率高、采樣時間長均導(dǎo)致腦電信號在傳輸前具有較大的數(shù)據(jù)體量。因此,為了減少傳輸能耗,并保證數(shù)據(jù)在解碼端恢復(fù)數(shù)據(jù)后進行下游任務(wù)的信號保真度,在傳輸前對腦電信號進行高效的自適應(yīng)壓縮具有重要意義。同時,腦電信號在不同人之間、在同一個人的不同檢測時間內(nèi)都具有較大的差異,如對于同一事件的腦電圖變化、不同頻率腦電圖能量值大小均存在差異。
2、基于腦電信號的腦機接口技術(shù)中,腦電信號(eeg)是大腦活動的電生理表現(xiàn),能夠解釋個人的認(rèn)知狀態(tài);基于腦電信號的腦機接口(bci)系統(tǒng)通過精準(zhǔn)解讀這些信號,在大腦與外部設(shè)備之間搭建了一座橋梁,實現(xiàn)了信息的高效傳遞。這種系統(tǒng)不僅允許用戶幾乎實時地控制外部執(zhí)行器,還為認(rèn)知狀態(tài)的監(jiān)測和解讀提供了新的途徑。在醫(yī)學(xué)領(lǐng)域,基于eeg的bci技術(shù)最初被開發(fā)用于幫助殘疾人士恢復(fù)溝通和控制能力,改善他們的生活質(zhì)量。然而,隨著技術(shù)的不斷進步,其應(yīng)用范圍已從醫(yī)學(xué)領(lǐng)域擴展到非醫(yī)學(xué)領(lǐng)域,展現(xiàn)出更廣泛的應(yīng)用潛力。在非醫(yī)學(xué)領(lǐng)域,基于eeg的bci技術(shù)被用于提高健康人的生活效率、促進協(xié)作以及支持個人發(fā)展,例如通過監(jiān)測注意力、情緒和疲勞狀態(tài)來優(yōu)化工作和學(xué)習(xí)環(huán)境。近年來,基于eeg的bci技術(shù)的發(fā)展呈現(xiàn)出從醫(yī)學(xué)領(lǐng)域向非醫(yī)學(xué)領(lǐng)域的明顯轉(zhuǎn)移趨勢。這一趨勢不僅反映了基于eeg的bci技術(shù)在非醫(yī)學(xué)領(lǐng)域的廣泛應(yīng)用,還預(yù)示著其在未來可能帶來的更深遠(yuǎn)的社會和經(jīng)濟影響。隨著技術(shù)的進一步成熟和成本的降低,基于eeg的bci技術(shù)有望在智能家居控制、娛樂、教育和安全監(jiān)控等多個領(lǐng)域得到更廣泛的應(yīng)用,為人們的生活帶來更多的便利和創(chuàng)新。
3、基于變換的腦電信號壓縮重建方法是信號處理領(lǐng)域的一個重要研究方向,旨在通過數(shù)學(xué)變換減少腦電信號的數(shù)據(jù)量,同時盡可能保留信號中的關(guān)鍵信息,以便于存儲和傳輸。這些方法通常利用腦電信號的稀疏性或可壓縮性,通過變換域的處理實現(xiàn)高效的數(shù)據(jù)壓縮和重建。文獻(xiàn)(birvinskas,d.,jusas,v.,martisius,i.,&r.(2015).fast?dct?algorithms?for?eeg?data?compre?ssion?in?embeddedsystems.comput.sci.inf.syst.,12,49-62.)使用離散余弦變換,將信號分成一組8個樣本,每組樣本使用3種不同的快速離散余弦變換,最后根據(jù)去除系數(shù)中不重要的部分并在反變換前用零填充。文獻(xiàn)(b.nguyen,d.ng?uyen,w.ma?and?d.tran,"wavelet?transform?andadaptive?arithmetic?coding?techniq?ues?for?eeg?lossy?compression,"2017international?joint?conference?onneural?net?works(ijcnn),anchorage,ak,usa,2017,pp.3153-3160,doi:10.1109/ijcnn.2017.7966249.)將原始腦電信號由一維變?yōu)槎S矩陣,其主要步驟包括離散小波變換、量化、閾值化、自適應(yīng)算數(shù)編碼。文獻(xiàn)(l.lin,y.meng,j.chen,and?z.li,‘2015multichannel?eeg?compressionbased?on?ica?andspiht’,biomedicalsign?alprocessing?and?control,vol.20,pp.45–51,jul.2015,doi:10.1016/j.bspc.2015.04.001.)基于子空間壓縮方法對腦電信號使用獨立主成分分析和主成分分析進行預(yù)處理,再將每個獨立成分以矩陣形式排列,再使用分層樹集分割算法進行壓縮?;谙∈璞硎竞蛪嚎s感知的腦電信號壓縮算法一般將信號由時域轉(zhuǎn)為頻域處理,且假設(shè)頻域時具有一定稀疏性(d.kanemoto?and?t.hirose,"eeg?measur?ements?withcompressed?sensing?utilizing?eeg?signals?as?the?basis?matrix,"2023ieeeinternational?symposium?on?circuits?and?systems(iscas),monterey,ca,us?a,2023,pp.1-5,doi:10.1109/iscas46773.2023.10181710.)。
4、基于變換的腦電信號壓縮重建方法基于不同域變換,將時域信號經(jīng)過變換轉(zhuǎn)換到其他域的稀疏信號,從而完成對原始密集信號的轉(zhuǎn)化。基于dct變換的壓縮方法雖然計算復(fù)雜度低,但只能實現(xiàn)幾種特定壓縮比的數(shù)據(jù)壓縮重建方案,并且在不同數(shù)據(jù)集的信號保真度重建差異較大。基于變換和熵編碼混合壓縮方法需要考慮小波分解階數(shù)、量化比特數(shù)、閾值大小等,在參數(shù)設(shè)置上繁瑣。基于子空間壓縮方法和分層樹集分割算法以一種信息集中的方法對原始數(shù)據(jù)進行預(yù)處理,但需要完成子空間主成分個數(shù)與信號重建的權(quán)衡;同時,雖然分層樹集分割算法有逐步逼近的性能,但對數(shù)據(jù)內(nèi)容依賴性較強且計算復(fù)雜度較高?;趬嚎s感知的腦電信號壓縮算法假設(shè)頻域具有一定稀疏性,其算法在稀疏性表示較為容易,但壓縮感知算法在數(shù)據(jù)重建的求解過程中通常涉及非凸優(yōu)化問題的求解,計算的復(fù)雜性較高。上述基于變換的腦電信號壓縮重建算法存在算法復(fù)雜度高、參數(shù)優(yōu)化困難、壓縮能力優(yōu)先、計算復(fù)雜度高的問題,無法適用于實時性高且信號質(zhì)量要求高的實時腦機接口系統(tǒng)。
5、基于深度學(xué)習(xí)的腦電信號壓縮重建方法近年來成為研究熱點,其核心優(yōu)勢在于能夠自動學(xué)習(xí)數(shù)據(jù)中的抽象特征和高級特征,從而無需依賴手工設(shè)計的特征提取器。這種自動化的特征學(xué)習(xí)過程不僅提高了效率,還能夠更深入地挖掘腦電信號的內(nèi)在結(jié)構(gòu)和模式,為壓縮和重建提供了更豐富的信息基礎(chǔ)。在現(xiàn)有的研究中,文獻(xiàn)(a.ben?said,a.mohamedand?t.elfouly,"deep?learning?approach?for?eeg?compression?in?mhealth?system,"201713th?international?wireless?communications?and?mobile?computingconference(iwcmc),valencia,spain,2017,pp.1508-1512,doi:10.1109/iwcmc.2017.7986507.)、(y.cao,h.zhang,y.-b.choi,h.wang?and?s.xiao,"hybrid?deeplearning?model?assisted?data?compression?and?classification?for?efficientdata?delivery?in?mobile?health?applications,"in?ieee?access,vol.8,pp.94757-94766,2020,doi:10.1109/access.2020.2995442.)、(a.valenti,m.barsotti,r.brondi,d.bacciu?and?l.ascari,"ros-neuro?integration?ofdeep?convolutionalautoencoders?for?eeg?signal?compression?in?real-time?bcis,"2020ieeeinternational?conference?on?systems,man,and?cybernetics(smc),toronto,on,canada,2020,pp.2019-2024,doi:10.1109/smc42975.2020.9283397.)展示了使用堆疊的卷積層構(gòu)建自編碼器架構(gòu)來實現(xiàn)端到端的腦電信號壓縮。這種方法通過多層卷積網(wǎng)絡(luò)自動提取腦電信號的特征,并在解碼端進行信號的重建。這種端到端的學(xué)習(xí)方式簡化了傳統(tǒng)壓縮方法中復(fù)雜的預(yù)處理和特征提取步驟,使得整個壓縮和重建過程更加高效和一體化。例如,文獻(xiàn)中提出的模型通過多層卷積和池化操作,逐步降低信號的空間維度,同時提取更高級的特征表示,然后通過解碼器逐步恢復(fù)信號的原始維度,實現(xiàn)了高效的壓縮和較好的重建質(zhì)量。此外,文獻(xiàn)(dasan,e.,&gnanaraj,r.(2022).joint?ecg–emg–eeg?signalcompression?and?reconstruction?with?incremental?multimodal?autoencoderapproach.circuits,systems,and?signal?processing,41,6152-6181.)、(panneerselvam,ithaya?rani."transfer?learning?autoencoder?used?forcompressing?multimodal?biosignal."multimedia?tools?and?applications?81.13(2022):17547-17565.)進一步拓展了這一領(lǐng)域,提出了一種多模態(tài)深度去噪卷積自編碼器架構(gòu),用于心電圖(ecg)、肌電圖(emg)、腦電圖(eeg)信號的聯(lián)合壓縮與重建。這種方法不僅考慮了單一模態(tài)信號的壓縮,還探索了多模態(tài)信號之間的關(guān)聯(lián)和互補性。通過聯(lián)合壓縮,可以更有效地利用不同模態(tài)信號之間的信息,提高壓縮效率,并在解壓縮時更好地恢復(fù)信號的細(xì)節(jié)。例如,文獻(xiàn)中的多模態(tài)自編碼器架構(gòu)通過共享隱藏層來學(xué)習(xí)不同模態(tài)信號的共同特征,同時保留各自模態(tài)的獨特信息,實現(xiàn)了在較低比特率下的高質(zhì)量信號重建。
6、目前,基于深度學(xué)習(xí)的腦電信號壓縮重建方法主要采用自編碼器架構(gòu)。然而,此類方法在樣本量較少的數(shù)據(jù)集上容易出現(xiàn)過擬合現(xiàn)象,導(dǎo)致模型無法充分學(xué)習(xí)數(shù)據(jù)的全面特征。此外,現(xiàn)有的多模態(tài)電生理信號(如心電圖、肌電圖、腦電圖)聯(lián)合壓縮與重建方法,雖然在技術(shù)上具有創(chuàng)新性,但在實際應(yīng)用中存在局限性。具體來說,這些方法假設(shè)多種類型的電生理信號能夠在采集階段同時獲得,這在現(xiàn)實場景中往往難以實現(xiàn)。因此,這類聯(lián)合壓縮重建方法的適用性較弱,特別是在基于腦電信號的腦機接口應(yīng)用場景中,其通用性和實用性受到限制。
技術(shù)實現(xiàn)思路
1、為了解決現(xiàn)有技術(shù)存在的問題,本發(fā)明提供一種基于變分自編碼器的雙通道腦電信號壓縮重建方法。
2、本發(fā)明關(guān)注無線腦機接口場景下對于腦電信號的信源壓縮,設(shè)計基于深度學(xué)習(xí)的腦電信號壓縮重建模型,基于變分編碼器框架的編碼器-解碼器模型學(xué)習(xí)原始的信號分布特點,利用信號編碼碼率與信號重建失真的權(quán)衡作為目標(biāo)函數(shù),實現(xiàn)基于深度學(xué)習(xí)的自適應(yīng)腦電信號壓縮重建方法。
3、本發(fā)明為解決技術(shù)問題所采用的技術(shù)方案如下:
4、本發(fā)明提供的一種基于變分自編碼器的雙通道腦電信號壓縮重建方法,主要包括以下步驟:
5、步驟一、構(gòu)建雙通道腦電信號數(shù)據(jù)集;
6、步驟二、構(gòu)建腦電信號壓縮重建模型;
7、所述腦電信號壓縮重建模型由編碼器模塊和解碼器模塊構(gòu)成,首先經(jīng)過變換分布的理論推導(dǎo),得到模型訓(xùn)練的損失函數(shù);所述編碼器模塊用于提取雙通道腦電信號的特征,所述解碼器模塊用于生成重建的腦電信號;
8、步驟三、使用雙通道腦電信號數(shù)據(jù)集對腦電信號壓縮重建模型進行訓(xùn)練,通過優(yōu)化網(wǎng)絡(luò)參數(shù),使腦電信號壓縮重建模型能夠?qū)W習(xí)到腦電信號的壓縮表示和重建策略,以最小化原始信號與重建信號之間的差異;
9、步驟四、將待壓縮重建的雙通道腦電信號輸入訓(xùn)練好的腦電信號壓縮重建模型,輸出壓縮后的表示和重建的腦電信號,通過計算重建信號與原始信號之間的誤差指標(biāo)來評判腦電信號壓縮重建效果。
10、進一步的,所述雙通道腦電信號數(shù)據(jù)集由開源腦電信號chb-mit數(shù)據(jù)集獲得,每個腦電信號樣本包含兩個不同通道的腦電活動。
11、進一步的,步驟四的具體操作流程如下:
12、s4.1:系統(tǒng)編碼碼率估計與重建失真估計模型;
13、s4.2:建立模型損失函數(shù);
14、s4.3:腦電信號壓縮重建評價指標(biāo);
15、s4.4:系統(tǒng)目標(biāo)建模。
16、進一步的,步驟s4.1中,先將原始信號x∈rl轉(zhuǎn)化為隱變量y=ga(x;θg),l表示截取的腦電信號時間窗下包含的采樣點數(shù),ga表示模型的非線性編碼器,θg表示包含了非線性編碼器神經(jīng)元所有參數(shù)權(quán)重;再將隱變量y進行標(biāo)量量化到離其最近的離散值點上,即q表示量化操作,將數(shù)值量化到最近的離散點數(shù)值上,由此產(chǎn)生率失真優(yōu)化問題,失真是重建向量與原始信號x之間的預(yù)期差異,其數(shù)學(xué)表達(dá)式為:
17、
18、其中,表示使用的誤差度量標(biāo)準(zhǔn)。
19、進一步的,步驟s4.2中,假設(shè)先驗q(y)的分布一致,將變分推理的優(yōu)化目標(biāo)轉(zhuǎn)化為最小化已知變量x的分布p(x)與生成的數(shù)據(jù)分布q(x)的kl損失,其數(shù)學(xué)表達(dá)式為:
20、
21、其中,非線性編碼器ga輸出的隱變量y相當(dāng)于變量x的一組觀測值,非線性編碼器ga相當(dāng)于推斷模型pθ(y|x),非線性解碼器gs相當(dāng)于生成模型
22、公式(5)的第一項是定值,在優(yōu)化問題中忽略;第二項代表隱變量的預(yù)期碼長,如果將隱變量建模為獨立高斯分布的變量,則目標(biāo)函數(shù)等價于率失真優(yōu)化問題,失真度量為均方誤差。
23、進一步的,所述非線性編碼器ga包括:
24、(1)第一部分:一層卷積層將原始輸入的雙通道腦電信號通道數(shù)轉(zhuǎn)為64通道;
25、(2)第二部分:經(jīng)過4種擴展參數(shù)依次增加的卷積層,卷積核大小為9,用于獲得不同層次視野的特征;
26、(3)第三部分:經(jīng)過縮放倍數(shù)為2的下采樣步驟;
27、(4)第四部分:經(jīng)過4種擴展參數(shù)依次增加的卷積層,卷積核大小為5,進一步完成特征提取;
28、(5)第五部分:經(jīng)過通道自注意力層,完成對每個通道上權(quán)重進行顯式建模,再對原始特征圖加權(quán),使得每個通道具有不同幅度重要程度,完成通道間相關(guān)性冗余去除;
29、(6)第六部分:經(jīng)過縮放倍數(shù)為2的下采樣步驟;
30、所述非線性解碼器gs與非線性編碼器ga的模型層次和參數(shù)均一致,構(gòu)成對稱。
31、進一步的,通過構(gòu)建一組超先驗z來表示量化后的隱變量y的依賴關(guān)系,即z=ha(y;θh),對超先驗z進行標(biāo)量量化量化后的超先驗z經(jīng)過非線性變換重建得到并將公式(5)轉(zhuǎn)化為最小化變分概率密度與后驗概率密度的kl散度,其數(shù)學(xué)表達(dá)式為:
32、
33、其中,θh和分別表示非線性變換ha(·)和hs(·)神經(jīng)元所有參數(shù)權(quán)重,ha為超先驗編碼器,hs為超先驗解碼器;
34、公式(6)中的第一項為定值,在優(yōu)化問題中忽略;第二項代表了在已知邊信息的條件下隱變量的比特率;第三項代表邊信息的比特率;第四項代表失真度量。
35、更進一步的,所述超先驗編碼器ha包括:
36、(1)第一部分:一層卷積層將原始輸入的分析變換的輸出結(jié)果y通道數(shù)轉(zhuǎn)為32通道;
37、(2)第二部分:經(jīng)過3種擴展參數(shù)依次增加的卷積層,卷積核大小為9,用于獲得不同層次視野的特征;
38、(3)第三部分:經(jīng)過縮放倍數(shù)為2的下采樣步驟;
39、(4)第四部分:經(jīng)過2種擴展參數(shù)依次增加的卷積層,卷積核大小為5,進一步完成特征提??;
40、(5)第五部分:經(jīng)過縮放倍數(shù)為2的下采樣步驟;
41、所述超先驗解碼器hs與超先驗編碼器ha的模型層次和參數(shù)均一致,構(gòu)成對稱。
42、進一步的,步驟s4.3中,所述腦電信號壓縮重建評價指標(biāo)包括重建精度評價指標(biāo)和壓縮效率評價指標(biāo);所述重建精度評價指標(biāo)的計算公式為:
43、
44、所述壓縮效率評價指標(biāo)的計算公式為:
45、
46、進一步的,步驟s4.4中,所述腦電信號壓縮重建模型的損失函數(shù)的計算公式為:
47、l=(ry+rz)+λdmse?(10)
48、其中,ry和rz分別表示隱變量和超先驗的比特率,λ作為值為正權(quán)衡參數(shù),不同的值代表不同的碼率與重建精度的重要性權(quán)衡,dmse表示原始信號與重建信號的失真度量。
49、本發(fā)明的有益效果是:
50、(1)創(chuàng)新的技術(shù)架構(gòu)
51、殘差網(wǎng)絡(luò)應(yīng)用:在編碼器和解碼器的卷積層中引入殘差網(wǎng)絡(luò)(resnet),有效解決了深度神經(jīng)網(wǎng)絡(luò)隨著網(wǎng)絡(luò)加深而出現(xiàn)的退化問題。殘差塊使網(wǎng)絡(luò)更容易學(xué)習(xí)恒等映射,保持了淺層和深層之間的信息一致性,提高了模型的泛化能力和穩(wěn)定性,進一步提升了壓縮重建的性能。
52、超先驗建模:構(gòu)建超先驗來表示潛在變量之間的依賴關(guān)系,并對超先驗進行非線性變換和量化,以更準(zhǔn)確地模擬潛在變量的分布。使用超先驗建模方法為優(yōu)化率失真優(yōu)化問題提供了新的思路和手段,有助于進一步提高壓縮效率和重建質(zhì)量,體現(xiàn)了本發(fā)明在技術(shù)架構(gòu)上的創(chuàng)新性。
53、(2)高效的壓縮性能
54、自適應(yīng)特征提?。豪蒙疃染矸e神經(jīng)網(wǎng)絡(luò)自動學(xué)習(xí)腦電信號的特征,能夠精準(zhǔn)地捕捉到信號中的關(guān)鍵信息,從而在壓縮過程中去除冗余數(shù)據(jù),實現(xiàn)高效的自適應(yīng)壓縮。相比傳統(tǒng)基于變換的方法,無需手動設(shè)計特征提取器,減少了人為干預(yù),提高了特征提取的準(zhǔn)確性和適應(yīng)性。
55、潛在空間向量的量化是為了將其量化到離散點,從而便于后續(xù)的離散值算數(shù)編碼。
56、(3)較好的泛化能力
57、學(xué)習(xí)信號分布:通過學(xué)習(xí)原始腦電信號的分布特點,本發(fā)明的模型能夠更好地適應(yīng)不同類型的腦電信號,包括不同人之間、同一個人在不同檢測時間內(nèi)的信號差異。這使得模型在面對多樣化的腦電信號數(shù)據(jù)時,依然能夠保持穩(wěn)定的壓縮和重建性能,具有較強的泛化能力。
58、過擬合風(fēng)險降低:相較于傳統(tǒng)的自編碼器架構(gòu),變分自編碼器引入了概率分布和正態(tài)分布先驗,模型通過學(xué)習(xí)輸入信號的分布來進行壓縮重建任務(wù),能夠?qū)W習(xí)未見過的信號的數(shù)據(jù)分布,從而在一定程度上緩解了過擬合現(xiàn)象。樣本量足夠多,并且模型訓(xùn)練的優(yōu)化器選擇合適、訓(xùn)練輪次的數(shù)量足夠模型收斂到最優(yōu)值,使得模型充分學(xué)習(xí)數(shù)據(jù)特征,提高模型的魯棒性。
59、(4)實用性增強
60、適用于實時系統(tǒng):本發(fā)明的壓縮重建方法使用深度學(xué)習(xí)模型,模型的推理時間短,能夠在較短時間內(nèi)完成腦電信號的壓縮和解壓縮過程,滿足實時腦機接口系統(tǒng)對實時性的高要求。這對于需要快速響應(yīng)的腦機接口應(yīng)用,如疾病監(jiān)測、運動想象等場景至關(guān)重要,能夠確保系統(tǒng)及時準(zhǔn)確地處理和傳輸腦電信號。
61、通用性強:針對腦電信號的雙通道壓縮重建框架,在單通道腦電信號壓縮的基礎(chǔ)上進一步拓展,去除了通道間的冗余,進一步提升了信號壓縮效率,具有更廣泛的適用性。高效的腦電信號壓縮重建效率和數(shù)據(jù)重建質(zhì)量拓展了其在腦機接口領(lǐng)域的應(yīng)用范圍,為腦機接口技術(shù)的推廣和應(yīng)用提供了有力支持。