買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜北京火山引擎科技有限公司申請的專利針對語言模型的性能評估的方法和裝置、設備、介質和產品獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119358686B 。

龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411918595.9，技術領域涉及：G06N5/04；該發明授權針對語言模型的性能評估的方法和裝置、設備、介質和產品是由張雪;李爽;孫陽;李陽;尹小明設計研發完成，并于2024-12-24向國家知識產權局提交的專利申請。

本針對語言模型的性能評估的方法和裝置、設備、介質和產品在說明書摘要公布了：公開了針對語言模型的性能評估的方法和裝置、設備、介質和產品，涉及數據處理技術、大模型技術、大語言模型技術領域。該方法包括針對每個問題，通過語言模型獲取問題的多個預測答案，該多個預測答案各自具有不同的答案形式。該方法還包括獲取針對問題的多個真值答案，該多個真值答案各自與不同的答案源相對應。該方法還包括基于多個預測答案與多個真值答案之間的比較，獲取多個比較結果，該多個比較結果指示多個預測答案與多個真值答案之間的差異性。該方法還包括確定與多個比較結果相對應的多個比較得分，并且基于多個比較得分來確定語言模型的性能得分，該性能得分指示語言模型的問答性能。如此，能夠改進性能評估的覆蓋面，并且促進模型調優。

本發明授權針對語言模型的性能評估的方法和裝置、設備、介質和產品在權利要求書中公布了：1.一種針對語言模型的性能評估的方法，包括：針對問題集中的每個問題，通過語言模型獲取問題的多個預測答案，所述多個預測答案各自具有不同的答案形式，所述答案形式包括第一類型的結構化查詢語言SQL語句、可視化統一資源定位符URL、第二類型的SQL語句、SQL執行結果、召回字段和URL執行結果；獲取針對所述問題的多個真值答案，所述多個真值答案各自與不同的答案源相對應，所述答案源包括第一SQL源、可視化URL源、第二SQL源、SQL執行結果源、召回字段源和URL執行結果源；基于所述多個預測答案與所述多個真值答案之間的比較，獲取多個比較結果，所述多個比較結果指示所述多個預測答案與所述多個真值答案之間的差異性；以及確定與所述多個比較結果相對應的多個比較得分，并且基于所述多個比較得分來確定所述語言模型的性能得分，所述性能得分指示所述語言模型的問答性能，其中針對所述問題的所述多個預測答案包括答案形式為所述第一類型的SQL語句的第一預測答案以及答案形式為所述可視化URL的第二預測答案，所述方法還包括：基于所述第一預測答案來確定針對所述問題的第三預測答案和第四預測答案，所述第三預測答案的答案形式為所述第二類型的SQL語句，并且所述第四預測答案的答案形式為所述SQL執行結果；以及基于所述第二預測答案來確定針對所述問題的第五預測答案和第六預測答案，所述第五預測答案的答案形式為所述召回字段，并且所述第六預測答案的答案形式為所述URL執行結果。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人北京火山引擎科技有限公司，其通訊地址為：100190 北京市海淀區紫金數碼園4號樓13層1309；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。