買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監(jiān)控用IP管家,真方便！

龍圖騰網獲悉天津賽威工業(yè)技術有限公司申請的專利基于視覺注意力機制的軟件自動化測試方法及系統(tǒng)獲國家發(fā)明授權專利權，本發(fā)明授權專利權由國家知識產權局授予，授權公告號為：CN119292953B 。

龍圖騰網通過國家知識產權局官網在2025-04-04發(fā)布的發(fā)明授權授權公告中獲悉：該發(fā)明授權的專利申請?zhí)?專利號為：202411824667.3，技術領域涉及：G06F11/3668；該發(fā)明授權基于視覺注意力機制的軟件自動化測試方法及系統(tǒng)是由孫洲設計研發(fā)完成，并于2024-12-12向國家知識產權局提交的專利申請。

本基于視覺注意力機制的軟件自動化測試方法及系統(tǒng)在說明書摘要公布了：本發(fā)明提供一種基于視覺注意力機制的軟件自動化測試方法及系統(tǒng)，涉及自動化測試技術領域，包括獲取待測軟件的初始界面并進行預處理，將增強界面圖像輸入界面檢測模型，通過解析增強界面圖像，識別控件信息；將控件信息輸入預訓練的注意力機制模型中，基于控件信息，生成控件之間的語義關聯(lián)和上下文信息，確定測試動作的執(zhí)行順序和執(zhí)行參數(shù)，依次模擬人工測試動作，按照執(zhí)行參數(shù)對控件進行測試操作；獲取待測軟件的界面反饋信息，基于文字識別算法提取界面反饋信息中的文本內容，結合預先構建的語義理解模型，確定文本內容對應的語義，與預設的預期結果進行比對，生成測試操作對應的測試結論。

本發(fā)明授權基于視覺注意力機制的軟件自動化測試方法及系統(tǒng)在權利要求書中公布了：1.基于視覺注意力機制的軟件自動化測試方法，其特征在于，包括：獲取待測軟件的初始界面并進行預處理，得到增強界面圖像，將所述增強界面圖像輸入界面檢測模型，通過解析所述增強界面圖像，識別控件信息，所述控件信息包括控件類型、控件屬性和控件位置；將所述控件信息輸入預訓練的注意力機制模型中，基于所述控件信息，生成控件之間的語義關聯(lián)和上下文信息，確定測試動作的執(zhí)行順序和執(zhí)行參數(shù)，基于所述執(zhí)行順序，生成測試動作序列，依次模擬人工測試動作，按照所述執(zhí)行參數(shù)對控件進行測試操作；在每一個所述測試操作執(zhí)行完成后，獲取待測軟件的界面反饋信息，基于文字識別算法提取所述界面反饋信息中的文本內容，結合預先構建的語義理解模型，確定所述文本內容對應的語義，與預設的預期結果進行比對，生成所述測試操作對應的測試結論；將所述增強界面圖像輸入界面檢測模型，通過解析所述增強界面圖像，識別控件信息包括：所述界面檢測模型基于語義分割模型構建，通過空洞卷積擴大所述增強界面圖像的感受野，捕捉每個像素的多尺度上下文信息，進行像素級分類，為每個像素分配語義標簽，并通過條件隨機場后處理，進行邊界平滑操作，生成語義分割圖；基于所述語義分割圖，通過區(qū)域分水嶺算法進行實例分割，將屬于同一控件的像素組合成獨立的控件實例，生成控件實例分割圖；基于所述控件實例分割圖，提取每個控件實例對應的控件屬性，構建控件節(jié)點，解析控件節(jié)點之間的空間位置關系，建立有向邊，生成控件關系圖，所述控件關系圖輸入預訓練的圖神經網絡模型中，提取控件拓撲結構和空間節(jié)點特征，生成控件關系圖屬性；基于所述語義分割圖、所述控件實例分割圖和所述控件關系圖屬性，構建結構化控件信息表示，生成控件信息；基于所述語義分割圖，通過區(qū)域分水嶺算法進行實例分割，將屬于同一控件的像素組合成獨立的控件實例，生成控件實例分割圖包括：基于多尺度Sobel算子，對所述語義分割圖的每個語義類別分別計算水平方向梯度和垂直方向梯度，對所述水平方向梯度和所述垂直方向梯度分別平方并相加開方，得到梯度幅值圖；遍歷所述梯度幅值圖中的每一個像素點，基于當前像素點，比較所述當前像素點與周圍8鄰域像素點的梯度幅值大小，如果當前像素點的梯度幅值為領域最小值，且小于預設的梯度幅值閾值，標記當前像素點為種子點；否則，跳過當前像素點；重復迭代比較，直到遍歷完成所述梯度幅值圖中的所有像素點；將所述種子點對應的梯度幅值從小到大排序形成優(yōu)先隊列，從優(yōu)先隊列中選取第一個種子點，作為當前種子點，開始區(qū)域擴展：以當前種子點為當前處理區(qū)域，并創(chuàng)建空的擴展隊列，從所述當前種子點對應的周圍8鄰域像素點中選取未標記像素點，如果所述未標記像素點的梯度幅值小于預設的梯度幅值閾值，將所述未標記像素點作為擴展像素點，加入擴展隊列，同時擴展當前處理區(qū)域，并標記，對所述擴展隊列中的每個擴展像素點重復進行擴展，并移除出擴展隊列，直到所述擴展隊列為空，當前處理區(qū)域擴展完成，生成擴展完成區(qū)域；依次處理優(yōu)先隊列中的每個種子點，直到處理完成所有種子點，確定一系列擴展完成區(qū)域；計算每一個擴展完成區(qū)域的幾何屬性，按照預設的區(qū)域無效規(guī)則，保留有效區(qū)域，為每一個有效區(qū)域生成唯一標識號，并提取對應的外接矩形邊界框，輸出控件實例分割圖；基于多尺度Sobel算子，對所述語義分割圖的每個語義類別分別計算水平方向梯度和垂直方向梯度，對所述水平方向梯度和所述垂直方向梯度分別平方并相加開方，得到梯度幅值圖包括：所述多尺度Sobel算子，其公式如下： ；其中，s表示尺度，Gxs表示尺度s下水平方向梯度，Gys表示尺度s下垂直方向梯度，k表示算子半徑，m表示水平偏移量，n表示垂直偏移量，x表示像素點的水平坐標，y表示像素點的垂直坐標，I·表示像素值，Sxm,n,s表示尺度s的Sobel水平方向算子模板，Sym,n,s表示尺度s的Sobel垂直方向算子模板。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯(lián)系本專利的申請人或專利權人天津賽威工業(yè)技術有限公司，其通訊地址為：300457 天津市濱海新區(qū)經濟技術開發(fā)區(qū)南海路156號28-A；或者聯(lián)系龍圖騰網官方客服，聯(lián)系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。