買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜重慶維普智圖數據科技有限公司申請的專利一種基于元數據和滑動窗口的文獻去重方法、系統及存儲介質獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN115048340B 。

龍圖騰網通過國家知識產權局官網在2025-04-15發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202210614285.2，技術領域涉及：G06F16/14；該發明授權一種基于元數據和滑動窗口的文獻去重方法、系統及存儲介質是由卓應忠設計研發完成，并于2022-05-31向國家知識產權局提交的專利申請。

本一種基于元數據和滑動窗口的文獻去重方法、系統及存儲介質在說明書摘要公布了：本發明屬于大數據處理技術領域，尤其涉及一種基于元數據和滑動窗口的文獻去重方法、系統及存儲介質，包括以下步驟：獲取已有文獻元數據提取指紋值，將待新增的文獻元數據存進內存?磁盤的混合存儲系統中，根據文獻的特征值字段計算待新增文獻的指紋值，并利用滑動窗口算法與分布式內存中緩存的指紋值進行匹配，從而判斷是否有新增文獻。本發明能夠解決現有技術中針對不同來源的數字資源元數據缺少重復性數據去重的問題。

本發明授權一種基于元數據和滑動窗口的文獻去重方法、系統及存儲介質在權利要求書中公布了：1.一種基于元數據和滑動窗口的文獻去重方法，其特征在于：包括：S1：獲取已有文獻元數據Simhash指紋值；S2：獲取待新增的文獻元數據，計算待新增的文獻元數據的newhash指紋值，并使用滑動窗口算法同Simhash指紋值匹配，將匹配結果構成集合〇；S3：根據集合〇中元素數量判斷是否有新增文獻；其中，所述S2中的滑動窗口算法具體為：按照文獻元數據類型，獲取該文獻首次出現的平臺及時間，以該時間為節點或者該平臺和時間結合為節點，若以時間為節點，則以該時間往前推進預設的時間年限，選取該時間年限內的Simhash值進行匹配，若以平臺和時間結合為節點，則以該文獻首次出現平臺和首次出現的時間，以該時間往前推進一定的時間年限，讀取其他同類型平臺的文獻元數據的Simhash指紋值進行匹配；所述步驟S2包括：S2-1：將待新增文獻元數據存儲至內存-磁盤的混合存儲系統中；S2-2：按字段的方式提取內存-磁盤的混合存儲系統中待新增文獻元數據的特征值，并進行權重處理；S2-3：將特征值權重進行歸一處理，將離散的權重值進行平滑處理；S2-4：將讀取的特征值提取至內存中，以64bit散列要求，對每個特征值使用相同的hash函數計算一個f位的指紋值a；S2-5：加權處理；若指紋值a的第i位為1，其中，i介于1到f之間，則a的第i位加上該特征的權重；若指紋值a的第i位為0，則a的第i位減去該特征的權重；S2-6：將S2-5中的加權進行累加，變成只有一個的序列串；S2-7：將序列串進行降維處理，并輸出newhash作為指紋值；S2-8：使用滑動窗口算法將newhash指紋值與分布式內存中的文獻Simhash指紋值進行海明距離比對，找到符合Bit位的差異閾值的newhash指紋值，這些newhash指紋值構成集合〇。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人重慶維普智圖數據科技有限公司，其通訊地址為：401147 重慶市渝北區洪湖西路18號3幢附2號；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。