恭喜華僑大學潘玉彪獲國家專利權
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監控用IP管家,真方便!
龍圖騰網恭喜華僑大學申請的專利基于Caffe應用特征的鍵值存儲和數據預取方法獲國家發明授權專利權,本發明授權專利權由國家知識產權局授予,授權公告號為:CN119937935B 。
龍圖騰網通過國家知識產權局官網在2025-06-13發布的發明授權授權公告中獲悉:該發明授權的專利申請號/專利號為:202510425804.4,技術領域涉及:G06F3/06;該發明授權基于Caffe應用特征的鍵值存儲和數據預取方法是由潘玉彪;田愛玲;張惠臻設計研發完成,并于2025-04-07向國家知識產權局提交的專利申請。
本基于Caffe應用特征的鍵值存儲和數據預取方法在說明書摘要公布了:一種基于Caffe應用特征的鍵值存儲和數據預取方法,涉及計算機存儲領域,包括:根據不同的存儲設備的帶寬大小設置SST文件中的數據塊大小;當圖像數據寫入鍵值存儲系統時,將圖像數據轉換為鍵值對并保存在內存表中;若內存表容量達到預設閾值,則將圖像數據轉化為不可變內存表并刷新到磁盤,組織成SST文件;其中,每個SST文件中包含多個數據塊用于存儲鍵值對數據;當執行數據預取操作時,將讀取的磁盤IO單位大小與存儲設備的帶寬匹配;同時,在圖像分辨率大于預設分辨率時采用一個線程負責讀取和解析鍵值對另一個線程執行數據格式轉換的雙線程并行執行策略;在讀取鍵值對時,采用全局亂序讀取機制。本發明提高數了數據預取效率及模型的測試精度。
本發明授權基于Caffe應用特征的鍵值存儲和數據預取方法在權利要求書中公布了:1.一種基于Caffe應用特征的鍵值存儲和數據預取方法,應用在鍵值存儲系統,其特征在于,包括: 根據不同的存儲設備的帶寬大小設置排序字符串表SST文件中的數據塊大小; 當圖像數據寫入鍵值存儲系統時,將圖像數據轉換為鍵值對并保存在內存表中;若內存表容量達到預設閾值,則將圖像數據轉化為不可變內存表并刷新到磁盤,組織成SST文件;其中,每個SST文件中包含多個數據塊用于存儲鍵值對數據; 當執行數據預取操作時,將讀取的磁盤IO單位大小與存儲設備的帶寬匹配;同時,在圖像分辨率大于預設分辨率時采用一個線程負責讀取和解析鍵值對另一個線程執行數據格式轉換的雙線程并行執行策略;在讀取鍵值對時,采用全局亂序讀取機制; 所述全局亂序讀取機制的實現過程,具體如下: 讀取L0層中所有SST文件中的第一個數據塊到內存; 使用隨機排序器對LSM樹中L1至L6各層級的SST文件進行隨機排序,并記錄在隨機順序表中,接著將隨機順序表中L1至L6各層第一個SST文件的第一個數據塊加載到內存中,并為內存中所有數據塊創建對應的迭代器指針和當前指針;迭代器指針依次指向各層級數據塊中的第一個鍵值對,而當前指針循環指向迭代器指針;其中,各迭代器指針對應編號1~n; Caffe根據當前指針所指向的數據進行讀取;當一個SST中的所有數據讀取完畢后,從隨機順序表中讀取同一層級的下一個SST文件,并繼續執行讀取操作,直到鍵值存儲系統中的所有數據被讀取完畢; 對于下一輪次的數據讀取,重新構建迭代器和隨機順序表,確保每輪次的輸入實例順序不同; 兩個線程中的一個為第一線程,另一個為第二線程;所述雙線程并行執行策略的實現過程,具體如下: 當第一線程完成圖像i的讀取和解析后,數據將寫入第一緩沖區,隨后第二線程對第一緩沖區中的數據進行轉換;與此同時,第一線程開始讀取并解析圖像i+1,將其寫入第二緩沖區,第二線程在處理完圖像i的數據后,開始對第二緩沖區中的數據進行轉換;兩個緩沖區交替使用,并通過互斥鎖確保對緩沖區的安全訪問。
如需購買、轉讓、實施、許可或投資類似專利技術,可聯系本專利的申請人或專利權人華僑大學,其通訊地址為:362000 福建省泉州市豐澤區城東城華北路269號;或者聯系龍圖騰網官方客服,聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。
1、本報告根據公開、合法渠道獲得相關數據和信息,力求客觀、公正,但并不保證數據的最終完整性和準確性。
2、報告中的分析和結論僅反映本公司于發布本報告當日的職業理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據或者憑證。