本發(fā)明涉及視頻調(diào)度領(lǐng)域，尤指一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法。
背景技術(shù)：
1、隨著應(yīng)急安全與監(jiān)管需求提高、應(yīng)用系統(tǒng)功能越來越多、數(shù)據(jù)種類增加和數(shù)據(jù)量變大，導(dǎo)致視頻監(jiān)控調(diào)度難、應(yīng)用系統(tǒng)聯(lián)動難、數(shù)據(jù)信息查詢難等問題。針對應(yīng)急指揮大廳場景需要操作使用的應(yīng)用系統(tǒng)、視頻監(jiān)控和業(yè)務(wù)數(shù)據(jù)數(shù)量龐大，業(yè)務(wù)人員很難快速、準(zhǔn)確的理解領(lǐng)導(dǎo)意圖并從中找到需要的資源。給應(yīng)急指揮大廳工作人員和領(lǐng)導(dǎo)帶來了以下困擾。
2、視頻數(shù)量多:隨著安全與監(jiān)管需求提高，監(jiān)控視頻數(shù)量不斷增加；
3、檢索難度高:視頻管理層級多，監(jiān)控命名混亂,理解用戶查詢意圖困難；
4、實(shí)時反應(yīng)慢:發(fā)生異常情況，難以立即作出反應(yīng)，人工依賴較強(qiáng)。
5、因此，如何設(shè)計(jì)出一種能夠根據(jù)用戶需求快速識別調(diào)取到視頻對于本領(lǐng)域技術(shù)人員而言是亟需解決的問題。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明通過引入大模型算法，能夠自動分析監(jiān)控視頻，快速識別異常行為和事件，減少人工調(diào)度監(jiān)控的工作量，提高響應(yīng)速度；本發(fā)明的語音控制功能可簡化操作流程，讓監(jiān)控人員在處理其他任務(wù)時也能快速調(diào)度和查看監(jiān)控畫面，提高整體工作效率；此外本發(fā)明降低了操作門檻:為不熟悉技術(shù)的用戶提供簡單易用的操作方式，使更多人員能夠高效使用監(jiān)控系統(tǒng)。
2、為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：提供了一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，包括以下步驟：
3、步驟s101，對視頻監(jiān)控進(jìn)行標(biāo)簽管理，建立點(diǎn)位標(biāo)簽信息庫；
4、步驟s102，識別用戶的語音指令，進(jìn)行信息提取；
5、步驟s103，基于意圖信息庫分析用戶的意圖；
6、步驟s104，根據(jù)用戶意圖對視頻監(jiān)控進(jìn)行智能調(diào)度。
7、作為優(yōu)選，所述步驟s101中，建立點(diǎn)位標(biāo)簽信息庫包括以下步驟:
8、步驟s1011、點(diǎn)位標(biāo)識定義:提供每個點(diǎn)位的名稱及描述，理解點(diǎn)位的位置和用途；為每個點(diǎn)位分配一個唯一識別碼，以便快速識別點(diǎn)位；
9、步驟s1012、點(diǎn)位屬性梳理:定義點(diǎn)位的類型，記錄點(diǎn)位的物理位置和與點(diǎn)位相關(guān)的技術(shù)參數(shù)；
10、步驟s1013、點(diǎn)位管理:更新點(diǎn)位的屬性、類型和位置信息；
11、步驟s1014、標(biāo)簽創(chuàng)建:根據(jù)監(jiān)控點(diǎn)位的特點(diǎn)和業(yè)務(wù)需求來定義標(biāo)簽；
12、步驟s1015、持續(xù)維護(hù)與更新:利用新的數(shù)據(jù)源和用戶反饋不斷維護(hù)和擴(kuò)充點(diǎn)位標(biāo)簽庫，以適應(yīng)應(yīng)用需要的發(fā)展。
13、作為優(yōu)選，所述步驟s102中，基于大模型的語義理解能力，在指揮中心視頻調(diào)度場景中將語音指令中的內(nèi)容進(jìn)行歸納分析，并按照行政區(qū)域-場所名稱-場所本體-場所點(diǎn)位-點(diǎn)位本體-監(jiān)控屬性的槽位體系進(jìn)行精準(zhǔn)填充。
14、更優(yōu)的，所述將語音指令中的內(nèi)容進(jìn)行歸納分析的具體步驟包括前端語音處理和后端語音處理，并建立語料信息庫；
15、其中所述建立語料信息庫內(nèi)容包括:
16、語料信息分類:根據(jù)應(yīng)急管理領(lǐng)域語料的特征，對詞匯進(jìn)行分類；
17、初始詞庫建立:通過收集應(yīng)急救援?dāng)?shù)據(jù)資源，建立初始的語料庫；
18、nlp提取:利用文本挖掘技術(shù)，從文本數(shù)據(jù)中發(fā)現(xiàn)新的語料詞匯；
19、標(biāo)注規(guī)則制定:制定標(biāo)注規(guī)則，包括詞性標(biāo)注、句法分析、實(shí)體識別工作對語料信息進(jìn)行標(biāo)注；
20、對處理過的文本進(jìn)行多輪質(zhì)量控制檢查；
21、審查與補(bǔ)充:對收集的語料詞匯進(jìn)行人工審查，剔除不適合或錯誤的條目，同時進(jìn)行更新和補(bǔ)充。
22、更優(yōu)的，所述前端語音處理功能包括端點(diǎn)檢測和噪音消除。
23、更優(yōu)的，所述后端語音處理功能包括詞匯庫、連續(xù)語音識別、智能標(biāo)點(diǎn)添加、置信度輸出、多識別結(jié)果、多槽識別、熱詞識別和識別日志。
24、更優(yōu)的，所述置信度反映了識別結(jié)果的可信程度，通過采用召回率precall、準(zhǔn)確率pprecision、調(diào)和平均數(shù)paverage和漢明損失函數(shù)hamloss作為判斷的評價指標(biāo)，具體如下：
25、
26、其中，ntp表示為預(yù)測為p且真實(shí)類別為p的樣本數(shù)；nfp表示為預(yù)測為p且真實(shí)類別不為p的樣本數(shù)；nffp表示為預(yù)測不為p且真實(shí)類別不為p的樣本數(shù)；n表示樣本總數(shù)，k表示總標(biāo)簽數(shù)，y和分別表示為第i個樣本對應(yīng)的真實(shí)值和預(yù)測值，xor是異或邏輯運(yùn)算。
27、作為優(yōu)選，所述步驟s103中，通過建立意識圖識別庫，整合和分析用戶的意圖，從講話者的表述中提取關(guān)鍵信息，判斷講話者的需求，并根據(jù)需求轉(zhuǎn)化為指令。
28、作為優(yōu)選，所述建立意圖識別庫還包括建立意圖識別庫模型，利用人工智能算法訓(xùn)練分類模型來識別用戶講話的意圖，并支持在指揮中心視頻調(diào)度場景中，將智能助手的反饋內(nèi)容合成為語音進(jìn)行播放，實(shí)現(xiàn)用戶和智能調(diào)度系統(tǒng)之間的雙向語音交互。
29、作為優(yōu)選，所述步驟s104中，根據(jù)分析出用戶的意圖，指揮調(diào)度值班人員，快速定位視頻源，實(shí)時了解現(xiàn)場情況。
30、與現(xiàn)有技術(shù)相比，本發(fā)明還包括以下優(yōu)點(diǎn)：
31、1、通過實(shí)時獲取和處理大量的視頻數(shù)據(jù)，設(shè)置aiagent視頻調(diào)度助手其具備強(qiáng)大的數(shù)據(jù)整合能力，實(shí)現(xiàn)實(shí)時數(shù)據(jù)的匯聚、處理和展示，為決策者提供及時的信息支持。
32、2、視頻精準(zhǔn)調(diào)度:在應(yīng)對突發(fā)事件時，視頻監(jiān)控是非常重要的信息來源。通過本發(fā)明方法通過識別指揮中心工作人員的需求，快速調(diào)取相關(guān)視頻資源，實(shí)現(xiàn)實(shí)時在線調(diào)閱。
33、3、人機(jī)交互優(yōu)化:為提高工作人員的工作效率，降低操作難度，還設(shè)置人機(jī)交互功能，簡化操作流程,提供語音、文字等多種交互方式。
34、綜合以上所述，本發(fā)明包括實(shí)時信息獲取與處理、智能問答與信息檢索、視頻精準(zhǔn)調(diào)度、系統(tǒng)調(diào)用與協(xié)同聯(lián)動和人機(jī)交互優(yōu)化等方面，為政府或企業(yè)智能化升級提供全方位的支持。
1.一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，其特征在于，包括以下步驟：
2.根據(jù)權(quán)利要求1所述的一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，其特征在于，所述步驟s101中，建立點(diǎn)位標(biāo)簽信息庫包括以下步驟:
3.根據(jù)權(quán)利要求1所述的一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，其特征在于，所述步驟s102中，基于大模型的語義理解能力，在指揮中心視頻調(diào)度場景中將語音指令中的內(nèi)容進(jìn)行歸納分析，并按照行政區(qū)域-場所名稱-場所本體-場所點(diǎn)位-點(diǎn)位本體-監(jiān)控屬性的槽位體系進(jìn)行精準(zhǔn)填充。
4.根據(jù)權(quán)利要求3所述的一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，其特征在于，所述將語音指令中的內(nèi)容進(jìn)行歸納分析的具體步驟包括前端語音處理和后端語音處理，并建立語料信息庫；
5.根據(jù)權(quán)利要求4所述的一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，其特征在于，所述前端語音處理功能包括端點(diǎn)檢測和噪音消除。
6.根據(jù)權(quán)利要求4所述的一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，其特征在于，所述后端語音處理功能包括詞匯庫、連續(xù)語音識別、智能標(biāo)點(diǎn)添加、置信度輸出、多識別結(jié)果、多槽識別、熱詞識別和識別日志。
7.根據(jù)權(quán)利要求6所述的一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，其特征在于，所述置信度反映了識別結(jié)果的可信程度，通過采用召回率precall、準(zhǔn)確率pprecision、調(diào)和平均數(shù)paverage和漢明損失函數(shù)hamloss作為判斷的評價指標(biāo)，具體如下：
8.根據(jù)權(quán)利要求1所述的一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，其特征在于，所述步驟s103中，通過建立意識圖識別庫，整合和分析用戶的意圖，從講話者的表述中提取關(guān)鍵信息，判斷講話者的需求，并根據(jù)需求轉(zhuǎn)化為指令。
9.根據(jù)權(quán)利要求8所述的一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，其特征在于，所述建立意圖識別庫還包括建立意圖識別庫模型，利用人工智能算法訓(xùn)練分類模型來識別用戶講話的意圖，并支持在指揮中心視頻調(diào)度場景中，將智能助手的反饋內(nèi)容合成為語音進(jìn)行播放，實(shí)現(xiàn)用戶和智能調(diào)度系統(tǒng)之間的雙向語音交互。
10.根據(jù)權(quán)利要求1所述的一種基于大模型的應(yīng)急視頻監(jiān)控調(diào)度方法，其特征在于，所述步驟s104中，根據(jù)分析出用戶的意圖，指揮調(diào)度值班人員，快速定位視頻源，實(shí)時了解現(xiàn)場情況。