買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)恭喜東南大學;中國人民解放軍63983部隊申請的專利一種無人機自組織網(wǎng)絡信道接入方法獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產(chǎn)權局授予，授權公告號為：CN114599115B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權局官網(wǎng)在2025-06-10發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202210142923.5，技術領域涉及：H04W74/0816；該發(fā)明授權一種無人機自組織網(wǎng)絡信道接入方法是由燕鋒;杭天陽;李昊;丁凱;唐琪;夏瑋瑋;沈連豐設計研發(fā)完成，并于2022-02-16向國家知識產(chǎn)權局提交的專利申請。

本一種無人機自組織網(wǎng)絡信道接入方法在說明書摘要公布了：本發(fā)明公開了一種無人機自組織網(wǎng)絡信道接入方法，包括：當無人機節(jié)點有發(fā)送需求時，節(jié)點首先偵聽信道，若無空閑信道則推遲傳輸，否則節(jié)點根據(jù)閑時接入概率決定是否接入、選擇哪條空閑信道進行接入；節(jié)點做完決策后獲得對應的反饋，根據(jù)當前節(jié)點與周圍節(jié)點的決策相似度修改反饋的獎勵值，并訓練神經(jīng)網(wǎng)絡；下一次決策前，節(jié)點將歷史決策和反饋作為狀態(tài)輸入神經(jīng)網(wǎng)絡，網(wǎng)絡計算輸出閑時接入概率指導節(jié)點的下一步?jīng)Q策；在每個時步重復以上過程，無人機決策體不斷與環(huán)境交互學習，最終獲得兼具自適應性、信道利用率和節(jié)點公平性的接入策略。

本發(fā)明授權一種無人機自組織網(wǎng)絡信道接入方法在權利要求書中公布了：1.一種無人機自組織網(wǎng)絡信道接入方法，其特征在于，所述接入方法應用于基于無人機自組織網(wǎng)絡的通信場景，將無人機自組織網(wǎng)絡中的每個節(jié)點作為決策體，再基于深度強化學習算法，使得決策體與環(huán)境進行交互學習，得到具有自適應性的接入策略，所述接入方法具體包括如下步驟：步驟S1、在某一時隙，當所述無人機自組織網(wǎng)絡中一個或者多個節(jié)點在執(zhí)行數(shù)據(jù)傳輸任務時，首先對信道進行載波偵聽，判斷是否有空閑信道，若所有道均為占用狀態(tài)，則選擇推遲接入，在下一個時隙再進行決策；若存在至少一條空閑信道，則根據(jù)閑時接入概率，選擇其中一條空閑信道進行接入，占用若干個時隙對接收節(jié)點進行數(shù)據(jù)包發(fā)送，或者，選擇推遲接入，繼續(xù)進行載波偵聽；步驟S2、定義節(jié)點在進行不同決策時，獲得的信道反饋以及反饋對應的獎勵值，包括：若節(jié)點選擇推遲接入，則信道反饋為信道的忙閑狀態(tài)，獎勵值為0；若節(jié)點選擇接入一條空閑信道且信道反饋為接入成功，則獎勵值為1；若節(jié)點選擇接入一條空閑信道且信道反饋為節(jié)點碰撞，接入失敗，則獎勵值為C，其中，-1C0；步驟S3、選擇某一節(jié)點與其他節(jié)點進行交互學習，并且比較該節(jié)點與周圍鄰近無人機節(jié)點的決策，根據(jù)決策的相似程度修改步驟S2中的獎勵值，其中，相似程度越高，其接入成功的獎勵值就越大，其余獎勵值保持不變；步驟S4、構建深度Q網(wǎng)絡以及訓練用經(jīng)驗重放池，以該經(jīng)驗重放池作為輸入對所述深度Q網(wǎng)絡進行訓練，通過梯度下降法更新網(wǎng)絡中的參數(shù)，在進行多次迭代之后固定網(wǎng)絡參數(shù)，得到信道分配模型，其中，經(jīng)驗重放池包括步驟S3中選擇的節(jié)點，其當前與過去若干時步內的決策和反饋；步驟S5、針對步驟S3中選擇的節(jié)點，將其歷史經(jīng)驗作為當前狀態(tài)輸入至步驟S4中得到的信道分配模型中，通過該模型計算出節(jié)點下一步進行不同決策對應的不同概率，即所述閑時接入概率；步驟S6、針對該通信場景中所有具有數(shù)據(jù)傳輸任務的節(jié)點，重復步驟S1-步驟S5，根據(jù)閑時接入概率做下一個決策，直至各節(jié)點獲得具有自適應性的接入策略；所述基于無人機自組織網(wǎng)絡的通信場景，在該場景中，包括N個節(jié)點，M個信道，每個信道具有相同的帶寬和接入條件，每條信道劃分為多個時隙，其中，節(jié)點和信道的集合分別記為：和所述步驟S3具體包括：步驟S301、設定節(jié)點在接入信道進行發(fā)送時，將當前決策對應的閑時接入概率附在數(shù)據(jù)包上發(fā)出；步驟S302、每個節(jié)點記錄收到的來自周圍節(jié)點的閑時接入概率p，其中，pmin為接收到的最小值，pmax為接收到的最大值；步驟S303、將區(qū)間[pmin,pmax]均勻分為8個小區(qū)間，按p所在區(qū)間的數(shù)量將8個小區(qū)間降序排序為{[It0,It1],[It1,It2],······,[It7,It8]}，即在區(qū)間[It0,It1]中p值出現(xiàn)最頻繁，8個區(qū)間對應的獎勵值為步驟S304、當節(jié)點當前決策是接入信道且接入成功，則根據(jù)決策的閑時接入概率p所在區(qū)間將本次決策的獎勵值從1改為RACE；在所述步驟S4中，采用兩個結構相同但參數(shù)不同的深度Q網(wǎng)絡進行訓練，分別命名為主網(wǎng)絡和目標網(wǎng)絡，網(wǎng)絡參數(shù)分別初始化為θ和θ-，每隔F個時步將主網(wǎng)絡的參數(shù)賦值給目標網(wǎng)絡，以降低數(shù)據(jù)之間的相關性，其中，所述的深度Q網(wǎng)絡，其采用了循環(huán)神經(jīng)網(wǎng)絡RNN結構，包括一個輸入層，兩個隱藏層和一個輸出層，其中兩個隱藏層分別為長短期記憶層LSTM和一個前向傳播層FNN；在所述步驟S4中，在訓練之前，需要建立初始集合{st,at,rt+1,st+1}，其中，st為時步t的狀態(tài)，at為時步t采取的決策，rt+1為時步t采取決策后獲得的獎勵，st+1為時步t的下一個時步的狀態(tài)；節(jié)點在時步t可能采取的動作at∈{0,1,2,...,M}，at為0時，節(jié)點選擇推遲接入，at為m，且m不為0時，節(jié)點選擇信道m(xù)進行接入；狀態(tài)st+1＝[ct-Ω+2,...,ct,ct+1]，其中ct+1＝[at,zt]T，zt為節(jié)點在時步t采取決策后獲得的反饋，表達式為：分別代表了載波偵聽的結果和接入信道的結果，Ω為狀態(tài)歷史長度；在所述步驟S4中，在進行訓練時，以st作為網(wǎng)絡輸入，其網(wǎng)絡輸出為： 公式1中，a表示在動作集合中所有可能的動作，θ是神經(jīng)網(wǎng)絡中邊的權重，Q即為在t時刻狀態(tài)下所有可能決策所對應的得分；對經(jīng)過公式1得到的Q用ε-greedy和softmax算法處理，整合成閑時接入概率，其表達式為：σnt＝{pn,0t,pn,1t,...,pn,Mt}2公式2中，當m不為0時，pn,Mt表示為節(jié)點n在時步t選擇接入信道m(xù)的概率，m為0時，pn,0t表示節(jié)點推遲接入的概率；在所述步驟S4中，在進行訓練時，需考慮時步的非均勻分布特性，來計算損失函數(shù)，通過梯度下降法更新神經(jīng)網(wǎng)絡參數(shù)，其具體包括：每個決策都對應一個時間步驟，載波偵聽決策需要1個時隙，信道接入決策則需要若干個時隙，則在τ時步現(xiàn)實獎勵值計算表達式為： 在公式3中，γ為時間折扣因子，0＜γ＜1，daτ為節(jié)點在時步τ所做決策需要持續(xù)的時間；損失函數(shù)的計算表達式為： 在公式4中，NE為訓練神經(jīng)網(wǎng)絡時從經(jīng)驗池E取出的樣本數(shù)量，eτ為離散的樣本；對損失函數(shù)Lθ運用梯度下降法，更新神經(jīng)網(wǎng)絡參數(shù)，計算方法如下： 在公式5中，為Qsτ,aτ；θ的梯度函數(shù)。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或專利權人東南大學;中國人民解放軍63983部隊，其通訊地址為：211189 江蘇省南京市江寧區(qū)東南大學路2號；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。