本發(fā)明涉及自然語(yǔ)言處理，更具體地，本發(fā)明涉及一種基于大數(shù)據(jù)技術(shù)的自然語(yǔ)言處理系統(tǒng)和方法。

背景技術(shù)：

1、在自然語(yǔ)言處理領(lǐng)域，隨著大數(shù)據(jù)技術(shù)的快速發(fā)展，文本生成和處理已成為研究熱點(diǎn)?，F(xiàn)有的自然語(yǔ)言處理系統(tǒng)通常依賴于單一的文本特征提取和生成機(jī)制，通過預(yù)定義的規(guī)則或簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)模型來實(shí)現(xiàn)文本的生成與優(yōu)化。這些系統(tǒng)在處理復(fù)雜的文本語(yǔ)義連貫性、豐富度和冗余度時(shí)存在局限性，難以同時(shí)兼顧高質(zhì)量文本生成與低冗余度的要求。此外，傳統(tǒng)的自然語(yǔ)言處理方法往往缺乏對(duì)文本生成過程中獎(jiǎng)勵(lì)和代價(jià)的動(dòng)態(tài)評(píng)估機(jī)制，導(dǎo)致生成的文本在實(shí)際應(yīng)用中可能不符合用戶期望。

2、在實(shí)現(xiàn)本發(fā)明實(shí)施例過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題或缺陷：現(xiàn)有系統(tǒng)無(wú)法有效平衡文本生成的語(yǔ)義連貫性、豐富度和冗余度，缺乏對(duì)文本生成過程的動(dòng)態(tài)優(yōu)化能力，且無(wú)法根據(jù)實(shí)時(shí)反饋對(duì)生成器進(jìn)行調(diào)整，從而限制了自然語(yǔ)言處理系統(tǒng)的性能和應(yīng)用范圍。

技術(shù)實(shí)現(xiàn)思路

1、本發(fā)明提供了一種基于大數(shù)據(jù)技術(shù)的自然語(yǔ)言處理系統(tǒng)和方法。

2、在本發(fā)明的第一方面中，提供了一種基于大數(shù)據(jù)技術(shù)的自然語(yǔ)言處理系統(tǒng)，包括：

3、數(shù)據(jù)獲取模塊：用于獲取多個(gè)歷史文本數(shù)據(jù)，每個(gè)歷史文本數(shù)據(jù)包括第一文本特征、第二文本特征、標(biāo)簽、獎(jiǎng)勵(lì)值和代價(jià)值；所述第一文本特征和所述第二文本特征對(duì)應(yīng)的文本為相鄰的先后文本；所述獎(jiǎng)勵(lì)值由文本質(zhì)量獎(jiǎng)勵(lì)函數(shù)計(jì)算得到，所述文本質(zhì)量獎(jiǎng)勵(lì)函數(shù)基于文本的語(yǔ)義連貫性和語(yǔ)義豐富度構(gòu)建；所述代價(jià)值由文本代價(jià)函數(shù)計(jì)算得到，所述文本代價(jià)函數(shù)通過文本的語(yǔ)義冗余度與預(yù)設(shè)最大冗余比例構(gòu)建；

4、特征處理模塊：用于將每個(gè)歷史文本數(shù)據(jù)的第一文本特征和第二文本特征分別輸入至編碼器網(wǎng)絡(luò)中，得到第一特征向量和第二特征向量；將第一特征向量輸入至生成器網(wǎng)絡(luò)中，得到第一概率分布；將第一特征向量和第二特征向量分別輸入至評(píng)分網(wǎng)絡(luò)中，得到第一評(píng)分值和第二評(píng)分值；將第一特征向量和第二特征向量分別輸入至代價(jià)評(píng)估網(wǎng)絡(luò)中，得到第一代價(jià)評(píng)估值和第二代價(jià)評(píng)估值；將獎(jiǎng)勵(lì)值、第一評(píng)分值和第二評(píng)分值輸入至獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估函數(shù)中，得到獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估值；將代價(jià)值、第一代價(jià)評(píng)估值和第二代價(jià)評(píng)估值輸入至代價(jià)優(yōu)勢(shì)評(píng)估函數(shù)中，得到代價(jià)優(yōu)勢(shì)評(píng)估值；

5、網(wǎng)絡(luò)優(yōu)化模塊：用于將獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估值、代價(jià)優(yōu)勢(shì)評(píng)估值和第一概率分布輸入至目標(biāo)函數(shù)中并優(yōu)化得到優(yōu)化后的生成器網(wǎng)絡(luò)；將獎(jiǎng)勵(lì)值和第一評(píng)分值輸入至評(píng)分網(wǎng)絡(luò)的損失函數(shù)中并優(yōu)化得到優(yōu)化后的評(píng)分網(wǎng)絡(luò)；將代價(jià)值和第一代價(jià)評(píng)估值輸入至代價(jià)評(píng)估網(wǎng)絡(luò)的損失函數(shù)中并優(yōu)化得到優(yōu)化后的代價(jià)評(píng)估網(wǎng)絡(luò)；

6、訓(xùn)練模塊：用于基于優(yōu)化后的生成器網(wǎng)絡(luò)、評(píng)分網(wǎng)絡(luò)和代價(jià)評(píng)估網(wǎng)絡(luò)，重復(fù)數(shù)據(jù)獲取模塊、特征處理模塊和網(wǎng)絡(luò)優(yōu)化模塊的操作，直至超過預(yù)設(shè)次數(shù)，得到訓(xùn)練后的生成器網(wǎng)絡(luò)；

7、輸出模塊：用于獲取當(dāng)前文本的特征信息，并輸入至訓(xùn)練后的生成器網(wǎng)絡(luò)得到當(dāng)前文本的生成結(jié)果以進(jìn)行自然語(yǔ)言處理。

8、進(jìn)一步地，還包括：

9、執(zhí)行模塊：用于執(zhí)行當(dāng)前文本的生成結(jié)果，得到下一時(shí)刻的文本特征信息；根據(jù)文本質(zhì)量獎(jiǎng)勵(lì)函數(shù)計(jì)算得到當(dāng)前獎(jiǎng)勵(lì)值；根據(jù)文本代價(jià)函數(shù)計(jì)算得到當(dāng)前代價(jià)值；基于當(dāng)前文本的特征信息、下一時(shí)刻的文本特征信息、當(dāng)前文本的生成結(jié)果、當(dāng)前獎(jiǎng)勵(lì)值和當(dāng)前代價(jià)值構(gòu)建當(dāng)前文本數(shù)據(jù)；基于當(dāng)前文本數(shù)據(jù)再次優(yōu)化生成器網(wǎng)絡(luò)、評(píng)分網(wǎng)絡(luò)和代價(jià)評(píng)估網(wǎng)絡(luò)，利用再次優(yōu)化的生成器網(wǎng)絡(luò)對(duì)下一時(shí)刻的文本特征信息進(jìn)行處理。

10、進(jìn)一步地，所述評(píng)分網(wǎng)絡(luò)和代價(jià)評(píng)估網(wǎng)絡(luò)的損失函數(shù)采用均方誤差構(gòu)建，通過adam梯度下降算法最小化損失函數(shù)，更新評(píng)分網(wǎng)絡(luò)的參數(shù)和代價(jià)評(píng)估網(wǎng)絡(luò)的參數(shù)，得到優(yōu)化后的評(píng)分網(wǎng)絡(luò)和代價(jià)評(píng)估網(wǎng)絡(luò)。

11、進(jìn)一步地，所述文本質(zhì)量獎(jiǎng)勵(lì)函數(shù)的表達(dá)式為：

12、

13、其中rq(t)表示在時(shí)刻t時(shí)文本的質(zhì)量獎(jiǎng)勵(lì)值，w表示文本的總詞匯數(shù)，w表示詞匯的標(biāo)識(shí)號(hào)，t表示時(shí)刻，cw(t)表示在時(shí)刻t時(shí)文本w的語(yǔ)義連貫性，dw(t)表示在時(shí)刻t時(shí)文本w的語(yǔ)義豐富度，α和β分別為語(yǔ)義連貫性和語(yǔ)義豐富度的權(quán)重系數(shù)。

14、進(jìn)一步地，所述文本代價(jià)函數(shù)的表達(dá)式為：

15、

16、其中，ct(t,w)表示在時(shí)刻t時(shí)文本w的代價(jià)值，rr(t,w)表示在時(shí)刻t時(shí)文本w的語(yǔ)義冗余度，ratiow表示預(yù)設(shè)最大冗余比例，rm(t,w)表示在時(shí)刻t時(shí)文本w的最大語(yǔ)義冗余度。

17、進(jìn)一步地，所述獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估函數(shù)的表達(dá)式為：

18、

19、其中，ar(t,w,k)表示在時(shí)刻t時(shí)文本w的獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估值，k表示優(yōu)勢(shì)評(píng)估的階段，γ表示折扣因子，m表示優(yōu)勢(shì)評(píng)估過程中第m個(gè)階段，rq(t,w)表示在時(shí)刻t時(shí)文本w的質(zhì)量獎(jiǎng)勵(lì)值，表示第二文本特征對(duì)應(yīng)的第二評(píng)分值，表示第一文本特征對(duì)應(yīng)的第一評(píng)分值，π(at,w|)表示基于第一文本特征st,w輸出的動(dòng)作at,w對(duì)應(yīng)的獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估值，at,w表示在時(shí)刻t時(shí)文本w的動(dòng)作，λgae表示優(yōu)勢(shì)值參數(shù)，用于控制優(yōu)勢(shì)值平均程度的參數(shù)，y表示采樣軌跡的長(zhǎng)度。

20、進(jìn)一步地，所述代價(jià)優(yōu)勢(shì)評(píng)估函數(shù)的表達(dá)式為：

21、

22、其中，ac(t,w,k)表示在時(shí)刻t時(shí)文本w的代價(jià)優(yōu)勢(shì)評(píng)估值，k表示優(yōu)勢(shì)評(píng)估的階段，γ表示折扣因子，m表示優(yōu)勢(shì)評(píng)估過程中第m個(gè)階段，ct(t,w)表示在時(shí)刻t時(shí)文本w的代價(jià)值，表示第二文本特征對(duì)應(yīng)的第二代價(jià)評(píng)估值，表示第一文本特征對(duì)應(yīng)的第一代價(jià)評(píng)估值，π(at,w|)表示基于第一文本特征st,w輸出的動(dòng)作at,w對(duì)應(yīng)的代價(jià)優(yōu)勢(shì)評(píng)估值，at,w表示在時(shí)刻t時(shí)文本w的動(dòng)作，λgae表示優(yōu)勢(shì)值參數(shù)，用于控制優(yōu)勢(shì)值平均程度的參數(shù)，y表示采樣軌跡的長(zhǎng)度。

23、進(jìn)一步地，所述目標(biāo)函數(shù)的表達(dá)式為：

24、

25、其中，l(θw,λw)表示目標(biāo)值，表示在生成器策略網(wǎng)絡(luò)下的預(yù)期經(jīng)驗(yàn)回報(bào)值，min(·)表示取最小值的函數(shù)，表示當(dāng)前迭代過程中生成器策略網(wǎng)絡(luò)根據(jù)第一文本特征st,w輸出的動(dòng)作信息at,w的概率值，表示當(dāng)前迭代過程中上一階段的生成器策略網(wǎng)絡(luò)根據(jù)第一文本特征st,w輸出的動(dòng)作信息at,w的概率值，∈表示限制在[1-∈,1+∈]的范圍內(nèi)，若大于1+∈，則取值為1+∈；若小于1-∈，則取值為1-∈；否則，保持不變；ar(t,w,k)表示基于第一文本特征st,w輸出的動(dòng)作at,w對(duì)應(yīng)的獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估值，λw表示拉格朗日乘子，ac(t,w,k)表示基于第一文本特征st,w輸出的動(dòng)作at,w對(duì)應(yīng)的代價(jià)優(yōu)勢(shì)評(píng)估值。

26、在本發(fā)明的第二方面中，提供了一種基于大數(shù)據(jù)技術(shù)的自然語(yǔ)言處理方法，包括：

27、步驟一：獲取多個(gè)歷史文本數(shù)據(jù)，每個(gè)歷史文本數(shù)據(jù)包括第一文本特征、第二文本特征、標(biāo)簽、獎(jiǎng)勵(lì)值和代價(jià)值；所述第一文本特征和所述第二文本特征對(duì)應(yīng)的文本為相鄰的先后文本；所述獎(jiǎng)勵(lì)值由文本質(zhì)量獎(jiǎng)勵(lì)函數(shù)計(jì)算得到，所述文本質(zhì)量獎(jiǎng)勵(lì)函數(shù)基于文本的語(yǔ)義連貫性和語(yǔ)義豐富度構(gòu)建；所述代價(jià)值由文本代價(jià)函數(shù)計(jì)算得到，所述文本代價(jià)函數(shù)通過文本的語(yǔ)義冗余度與預(yù)設(shè)最大冗余比例構(gòu)建；

28、步驟二：將每個(gè)歷史文本數(shù)據(jù)的第一文本特征和第二文本特征分別輸入至編碼器網(wǎng)絡(luò)中，得到第一特征向量和第二特征向量；將第一特征向量輸入至生成器網(wǎng)絡(luò)中，得到第一概率分布；將第一特征向量和第二特征向量分別輸入至評(píng)分網(wǎng)絡(luò)中，得到第一評(píng)分值和第二評(píng)分值；將第一特征向量和第二特征向量分別輸入至代價(jià)評(píng)估網(wǎng)絡(luò)中，得到第一代價(jià)評(píng)估值和第二代價(jià)評(píng)估值；將獎(jiǎng)勵(lì)值、第一評(píng)分值和第二評(píng)分值輸入至獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估函數(shù)中，得到獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估值；將代價(jià)值、第一代價(jià)評(píng)估值和第二代價(jià)評(píng)估值輸入至代價(jià)優(yōu)勢(shì)評(píng)估函數(shù)中，得到代價(jià)優(yōu)勢(shì)評(píng)估值；

29、步驟三：將獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估值、代價(jià)優(yōu)勢(shì)評(píng)估值和第一概率分布輸入至目標(biāo)函數(shù)中并優(yōu)化得到優(yōu)化后的生成器網(wǎng)絡(luò)；將獎(jiǎng)勵(lì)值和第一評(píng)分值輸入至評(píng)分網(wǎng)絡(luò)的損失函數(shù)中并優(yōu)化得到優(yōu)化后的評(píng)分網(wǎng)絡(luò)；將代價(jià)值和第一代價(jià)評(píng)估值輸入至代價(jià)評(píng)估網(wǎng)絡(luò)的損失函數(shù)中并優(yōu)化得到優(yōu)化后的代價(jià)評(píng)估網(wǎng)絡(luò)；

30、步驟四：基于優(yōu)化后的生成器網(wǎng)絡(luò)、評(píng)分網(wǎng)絡(luò)和代價(jià)評(píng)估網(wǎng)絡(luò)，重復(fù)步驟一至步驟三，直至超過預(yù)設(shè)次數(shù)，得到訓(xùn)練后的生成器網(wǎng)絡(luò)；

31、步驟五：獲取當(dāng)前文本的特征信息，并輸入至訓(xùn)練后的生成器網(wǎng)絡(luò)得到當(dāng)前文本的生成結(jié)果以進(jìn)行自然語(yǔ)言處理。

32、進(jìn)一步地，還包括：執(zhí)行當(dāng)前文本的生成結(jié)果，得到下一時(shí)刻的文本特征信息；

33、根據(jù)文本質(zhì)量獎(jiǎng)勵(lì)函數(shù)計(jì)算得到當(dāng)前獎(jiǎng)勵(lì)值；

34、根據(jù)文本代價(jià)函數(shù)計(jì)算得到當(dāng)前代價(jià)值；

35、基于當(dāng)前文本的特征信息、下一時(shí)刻的文本特征信息、當(dāng)前文本的生成結(jié)果、當(dāng)前獎(jiǎng)勵(lì)值和當(dāng)前代價(jià)值構(gòu)建當(dāng)前文本數(shù)據(jù)；

36、基于當(dāng)前文本數(shù)據(jù)再次優(yōu)化生成器網(wǎng)絡(luò)、評(píng)分網(wǎng)絡(luò)和代價(jià)評(píng)估網(wǎng)絡(luò)，利用再次優(yōu)化的生成器網(wǎng)絡(luò)對(duì)下一時(shí)刻的文本特征信息進(jìn)行處理。

37、根據(jù)本發(fā)明的上述實(shí)施例至少具有以下有益效果：本發(fā)明的自然語(yǔ)言處理系統(tǒng)通過引入文本質(zhì)量獎(jiǎng)勵(lì)函數(shù)和文本代價(jià)函數(shù)，結(jié)合生成器網(wǎng)絡(luò)、評(píng)分網(wǎng)絡(luò)和代價(jià)評(píng)估網(wǎng)絡(luò)的協(xié)同優(yōu)化，可以有效提升文本生成的質(zhì)量和效率。系統(tǒng)能夠綜合考慮文本的語(yǔ)義連貫性、豐富度以及冗余度，動(dòng)態(tài)調(diào)整生成器的輸出，從而在生成高質(zhì)量文本的同時(shí)，降低語(yǔ)義冗余，滿足不同應(yīng)用場(chǎng)景對(duì)文本生成的需求。

38、此外，系統(tǒng)采用的獎(jiǎng)勵(lì)優(yōu)勢(shì)評(píng)估函數(shù)和代價(jià)優(yōu)勢(shì)評(píng)估函數(shù)能夠?qū)ι善鞯妮敵鲞M(jìn)行實(shí)時(shí)反饋和優(yōu)化，進(jìn)一步提高生成器的適應(yīng)性和穩(wěn)定性。通過重復(fù)訓(xùn)練和優(yōu)化過程，系統(tǒng)可以不斷學(xué)習(xí)和改進(jìn)，最終得到更優(yōu)的生成器網(wǎng)絡(luò)，從而為自然語(yǔ)言處理任務(wù)提供更高效、更精準(zhǔn)的解決方案。