買專利賣專利找龍圖騰，真高效！ 查專利查商標(biāo)用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網(wǎng)獲悉天津賽威工業(yè)技術(shù)有限公司申請的專利基于視覺注意力機制的軟件自動化測試方法及系統(tǒng)獲國家發(fā)明授權(quán)專利權(quán)，本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予，授權(quán)公告號為：CN119292953B 。

龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-04-04發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉：該發(fā)明授權(quán)的專利申請?zhí)?專利號為：202411824667.3，技術(shù)領(lǐng)域涉及：G06F11/3668；該發(fā)明授權(quán)基于視覺注意力機制的軟件自動化測試方法及系統(tǒng)是由孫洲設(shè)計研發(fā)完成，并于2024-12-12向國家知識產(chǎn)權(quán)局提交的專利申請。

本基于視覺注意力機制的軟件自動化測試方法及系統(tǒng)在說明書摘要公布了：本發(fā)明提供一種基于視覺注意力機制的軟件自動化測試方法及系統(tǒng)，涉及自動化測試技術(shù)領(lǐng)域，包括獲取待測軟件的初始界面并進(jìn)行預(yù)處理，將增強界面圖像輸入界面檢測模型，通過解析增強界面圖像，識別控件信息；將控件信息輸入預(yù)訓(xùn)練的注意力機制模型中，基于控件信息，生成控件之間的語義關(guān)聯(lián)和上下文信息，確定測試動作的執(zhí)行順序和執(zhí)行參數(shù)，依次模擬人工測試動作，按照執(zhí)行參數(shù)對控件進(jìn)行測試操作；獲取待測軟件的界面反饋信息，基于文字識別算法提取界面反饋信息中的文本內(nèi)容，結(jié)合預(yù)先構(gòu)建的語義理解模型，確定文本內(nèi)容對應(yīng)的語義，與預(yù)設(shè)的預(yù)期結(jié)果進(jìn)行比對，生成測試操作對應(yīng)的測試結(jié)論。

本發(fā)明授權(quán)基于視覺注意力機制的軟件自動化測試方法及系統(tǒng)在權(quán)利要求書中公布了：1.基于視覺注意力機制的軟件自動化測試方法，其特征在于，包括：獲取待測軟件的初始界面并進(jìn)行預(yù)處理，得到增強界面圖像，將所述增強界面圖像輸入界面檢測模型，通過解析所述增強界面圖像，識別控件信息，所述控件信息包括控件類型、控件屬性和控件位置；將所述控件信息輸入預(yù)訓(xùn)練的注意力機制模型中，基于所述控件信息，生成控件之間的語義關(guān)聯(lián)和上下文信息，確定測試動作的執(zhí)行順序和執(zhí)行參數(shù)，基于所述執(zhí)行順序，生成測試動作序列，依次模擬人工測試動作，按照所述執(zhí)行參數(shù)對控件進(jìn)行測試操作；在每一個所述測試操作執(zhí)行完成后，獲取待測軟件的界面反饋信息，基于文字識別算法提取所述界面反饋信息中的文本內(nèi)容，結(jié)合預(yù)先構(gòu)建的語義理解模型，確定所述文本內(nèi)容對應(yīng)的語義，與預(yù)設(shè)的預(yù)期結(jié)果進(jìn)行比對，生成所述測試操作對應(yīng)的測試結(jié)論；將所述增強界面圖像輸入界面檢測模型，通過解析所述增強界面圖像，識別控件信息包括：所述界面檢測模型基于語義分割模型構(gòu)建，通過空洞卷積擴(kuò)大所述增強界面圖像的感受野，捕捉每個像素的多尺度上下文信息，進(jìn)行像素級分類，為每個像素分配語義標(biāo)簽，并通過條件隨機場后處理，進(jìn)行邊界平滑操作，生成語義分割圖；基于所述語義分割圖，通過區(qū)域分水嶺算法進(jìn)行實例分割，將屬于同一控件的像素組合成獨立的控件實例，生成控件實例分割圖；基于所述控件實例分割圖，提取每個控件實例對應(yīng)的控件屬性，構(gòu)建控件節(jié)點，解析控件節(jié)點之間的空間位置關(guān)系，建立有向邊，生成控件關(guān)系圖，所述控件關(guān)系圖輸入預(yù)訓(xùn)練的圖神經(jīng)網(wǎng)絡(luò)模型中，提取控件拓?fù)浣Y(jié)構(gòu)和空間節(jié)點特征，生成控件關(guān)系圖屬性；基于所述語義分割圖、所述控件實例分割圖和所述控件關(guān)系圖屬性，構(gòu)建結(jié)構(gòu)化控件信息表示，生成控件信息；基于所述語義分割圖，通過區(qū)域分水嶺算法進(jìn)行實例分割，將屬于同一控件的像素組合成獨立的控件實例，生成控件實例分割圖包括：基于多尺度Sobel算子，對所述語義分割圖的每個語義類別分別計算水平方向梯度和垂直方向梯度，對所述水平方向梯度和所述垂直方向梯度分別平方并相加開方，得到梯度幅值圖；遍歷所述梯度幅值圖中的每一個像素點，基于當(dāng)前像素點，比較所述當(dāng)前像素點與周圍8鄰域像素點的梯度幅值大小，如果當(dāng)前像素點的梯度幅值為領(lǐng)域最小值，且小于預(yù)設(shè)的梯度幅值閾值，標(biāo)記當(dāng)前像素點為種子點；否則，跳過當(dāng)前像素點；重復(fù)迭代比較，直到遍歷完成所述梯度幅值圖中的所有像素點；將所述種子點對應(yīng)的梯度幅值從小到大排序形成優(yōu)先隊列，從優(yōu)先隊列中選取第一個種子點，作為當(dāng)前種子點，開始區(qū)域擴(kuò)展：以當(dāng)前種子點為當(dāng)前處理區(qū)域，并創(chuàng)建空的擴(kuò)展隊列，從所述當(dāng)前種子點對應(yīng)的周圍8鄰域像素點中選取未標(biāo)記像素點，如果所述未標(biāo)記像素點的梯度幅值小于預(yù)設(shè)的梯度幅值閾值，將所述未標(biāo)記像素點作為擴(kuò)展像素點，加入擴(kuò)展隊列，同時擴(kuò)展當(dāng)前處理區(qū)域，并標(biāo)記，對所述擴(kuò)展隊列中的每個擴(kuò)展像素點重復(fù)進(jìn)行擴(kuò)展，并移除出擴(kuò)展隊列，直到所述擴(kuò)展隊列為空，當(dāng)前處理區(qū)域擴(kuò)展完成，生成擴(kuò)展完成區(qū)域；依次處理優(yōu)先隊列中的每個種子點，直到處理完成所有種子點，確定一系列擴(kuò)展完成區(qū)域；計算每一個擴(kuò)展完成區(qū)域的幾何屬性，按照預(yù)設(shè)的區(qū)域無效規(guī)則，保留有效區(qū)域，為每一個有效區(qū)域生成唯一標(biāo)識號，并提取對應(yīng)的外接矩形邊界框，輸出控件實例分割圖；基于多尺度Sobel算子，對所述語義分割圖的每個語義類別分別計算水平方向梯度和垂直方向梯度，對所述水平方向梯度和所述垂直方向梯度分別平方并相加開方，得到梯度幅值圖包括：所述多尺度Sobel算子，其公式如下： ；其中，s表示尺度，Gxs表示尺度s下水平方向梯度，Gys表示尺度s下垂直方向梯度，k表示算子半徑，m表示水平偏移量，n表示垂直偏移量，x表示像素點的水平坐標(biāo)，y表示像素點的垂直坐標(biāo)，I·表示像素值，Sxm,n,s表示尺度s的Sobel水平方向算子模板，Sym,n,s表示尺度s的Sobel垂直方向算子模板。

如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù)，可聯(lián)系本專利的申請人或?qū)＠麢?quán)人天津賽威工業(yè)技術(shù)有限公司，其通訊地址為：300457 天津市濱海新區(qū)經(jīng)濟(jì)技術(shù)開發(fā)區(qū)南海路156號28-A；或者聯(lián)系龍圖騰網(wǎng)官方客服，聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。