恭喜北京百車寶科技有限公司余文成獲國家專利權(quán)
買專利賣專利找龍圖騰,真高效! 查專利查商標用IPTOP,全免費!專利年費監(jiān)控用IP管家,真方便!
龍圖騰網(wǎng)恭喜北京百車寶科技有限公司申請的專利多適配器微調(diào)的汽車問答方法、計算機設備和存儲介質(zhì)獲國家發(fā)明授權(quán)專利權(quán),本發(fā)明授權(quán)專利權(quán)由國家知識產(chǎn)權(quán)局授予,授權(quán)公告號為:CN119537558B 。
龍圖騰網(wǎng)通過國家知識產(chǎn)權(quán)局官網(wǎng)在2025-05-27發(fā)布的發(fā)明授權(quán)授權(quán)公告中獲悉:該發(fā)明授權(quán)的專利申請?zhí)?專利號為:202510093220.1,技術(shù)領(lǐng)域涉及:G06F16/3329;該發(fā)明授權(quán)多適配器微調(diào)的汽車問答方法、計算機設備和存儲介質(zhì)是由余文成設計研發(fā)完成,并于2025-01-21向國家知識產(chǎn)權(quán)局提交的專利申請。
本多適配器微調(diào)的汽車問答方法、計算機設備和存儲介質(zhì)在說明書摘要公布了:本發(fā)明提供一種多適配器微調(diào)的汽車問答方法、計算機設備和存儲介質(zhì),所述方法包括:基座大模型的建立和預訓練;基于維修故障問題數(shù)據(jù)集對基座大模型進行微調(diào)得到維修故障適配器;基于用車問題數(shù)據(jù)集對基座大模型進行微調(diào)得到用車類問題適配器;基于通用領(lǐng)域問題數(shù)據(jù)集對基座大模型進行微調(diào)得到通用領(lǐng)域問題適配器;基于意圖識別任務數(shù)據(jù)集對基座大模型進行微調(diào)得到意圖識別適配器。本發(fā)明可以根據(jù)不同領(lǐng)域的問題進行分別微調(diào),保證各領(lǐng)域的特異性,從而提高領(lǐng)域適配的精確度,確保一致的性能表現(xiàn)。本發(fā)明是對現(xiàn)有單一微調(diào)方法的重大改進,可以有效解決領(lǐng)域偏差問題。
本發(fā)明授權(quán)多適配器微調(diào)的汽車問答方法、計算機設備和存儲介質(zhì)在權(quán)利要求書中公布了:1.多適配器微調(diào)的汽車問答方法,其特征在于,采用基座大模型得到并運用維修故障適配器、用車類問題適配器、通用領(lǐng)域問題適配器和意圖識別適配器后進行汽車問題的問答,包括步驟:S1、所述基座大模型的建立和預訓練;S2、基于維修故障問題數(shù)據(jù)集對所述基座大模型進行微調(diào)得到所述維修故障適配器;S3、基于用車問題數(shù)據(jù)集對所述基座大模型進行微調(diào)得到所述用車類問題適配器;S4、基于通用領(lǐng)域問題數(shù)據(jù)集對所述基座大模型進行微調(diào)得到所述通用領(lǐng)域問題適配器;S5、基于意圖識別任務數(shù)據(jù)集對所述基座大模型進行微調(diào)得到所述意圖識別適配器;所述步驟S2至S5中的微調(diào)訓練包括下列步驟:SS1、初始化參數(shù):從預訓練的所述基座大模型中初始化參數(shù);SS2、低秩矩陣初始化:為低秩適配器模塊初始化兩個低秩矩陣A和B,其中,和,r?d,其中, :表示所述低秩矩陣A是一個d行r列的矩陣, :表示所述低秩矩陣B是一個d行r列的矩陣,r?d:表示r的值遠小于d,r和d是不小于0的整數(shù),采用高斯分布隨機初始化所述低秩矩陣A和B: , ,其中,是標準差,為根據(jù)工況設置為一預設小值,i1和j1為整數(shù),且1≤i1≤d及1≤j1≤r,SS3、輸入數(shù)據(jù):將處理后的數(shù)據(jù)輸入到所述基座大模型中,使所述基座大模型對輸入的所述數(shù)據(jù)進行特征提取;SS4、前向傳播:計算得到LoRA調(diào)整后的輸出結(jié)果,包括自注意力層、前饋神經(jīng)網(wǎng)絡層的神經(jīng)網(wǎng)絡的各個計算層通過對輸入的所述數(shù)據(jù)的逐步處理進行特征提取來生成模型輸出,即得到所述輸出結(jié)果,同時,通過在各所述計算層的權(quán)重矩陣中添加低秩矩陣A和B的乘積對所述權(quán)重矩陣進行調(diào)整: ,上式中,是調(diào)整后的所述權(quán)重矩陣,W是初始權(quán)重矩陣,“·”代表矩陣點積,B’是B的轉(zhuǎn)置矩陣,所述輸出結(jié)果滿足: ,上式中,f為一個映射函數(shù),x是輸入特征,f的具體形式根據(jù)任務需求而有所不同,具體由技術(shù)人員根據(jù)工況確定;SS5、計算交叉熵損失,根據(jù)所述輸出結(jié)果和真實標簽計算交叉熵損失函數(shù): ,上式中,表示交叉熵損失函數(shù),N是樣本數(shù)量,C是類別即適配器的類型數(shù)量,是第i個樣本的第j類的真實標簽,是第i個樣本的第j類的預測概率,i和j為整數(shù),logX是以10為底的X的對數(shù);SS6、通過反向傳播算法計算損失函數(shù)相對于所述權(quán)重矩陣的任一元素Wθ的梯度,并分別更新所述低秩矩陣A和B的元素, ,上式中,是損失函數(shù)相對于所述權(quán)重矩陣的任一元素Wθ的梯度,對于所述低秩矩陣A的任一元素Aθ和所述低秩矩陣B的任一元素Bθ,使用優(yōu)化計算方法Adam進行更新,SS7、迭代訓練:重復所述步驟SS4至SS6,直到所述基座大模型在驗證集上的性能達到預期標準。
如需購買、轉(zhuǎn)讓、實施、許可或投資類似專利技術(shù),可聯(lián)系本專利的申請人或?qū)@麢?quán)人北京百車寶科技有限公司,其通訊地址為:100000 北京市海淀區(qū)海淀蘇州街18號院-2樓16層1607;或者聯(lián)系龍圖騰網(wǎng)官方客服,聯(lián)系龍圖騰網(wǎng)可撥打電話0551-65771310或微信搜索“龍圖騰網(wǎng)”。
1、本報告根據(jù)公開、合法渠道獲得相關(guān)數(shù)據(jù)和信息,力求客觀、公正,但并不保證數(shù)據(jù)的最終完整性和準確性。
2、報告中的分析和結(jié)論僅反映本公司于發(fā)布本報告當日的職業(yè)理解,僅供參考使用,不能作為本公司承擔任何法律責任的依據(jù)或者憑證。
- 恭喜桂林星辰科技股份有限公司呂愛群獲國家專利權(quán)
- 恭喜三明圖靈智能科技有限公司涂寶章獲國家專利權(quán)
- 恭喜北京百特萊德工程技術(shù)股份有限公司楊興虎獲國家專利權(quán)
- 恭喜三菱化學株式會社高山英士獲國家專利權(quán)
- 恭喜淮安漢德農(nóng)業(yè)科技有限公司沙春陽獲國家專利權(quán)
- 恭喜瑞益系統(tǒng)公司穆慶輝獲國家專利權(quán)
- 恭喜深圳市微秒控制技術(shù)有限公司陳陽獲國家專利權(quán)
- 恭喜中交路橋建設有限公司郝瑞軍獲國家專利權(quán)
- 恭喜中國鐵道科學研究院集團有限公司鐵道建筑研究所李中國獲國家專利權(quán)
- 恭喜中國電力科學研究院有限公司王海菠獲國家專利權(quán)


熱門推薦
- 恭喜北京沃東天駿信息技術(shù)有限公司馬浩獲國家專利權(quán)
- 恭喜荊門市探夢科技有限公司王廣軍獲國家專利權(quán)
- 恭喜愛可瑞公司丹尼爾·加農(nóng)獲國家專利權(quán)
- 恭喜株式會社JCF科技金鎮(zhèn)明獲國家專利權(quán)
- 恭喜洛陽賽焱光電科技有限公司姚強獲國家專利權(quán)
- 恭喜國網(wǎng)甘肅省電力公司馬明獲國家專利權(quán)
- 恭喜寧波華科潤生物科技有限公司陳劉斌獲國家專利權(quán)
- 恭喜智動科技有限公司M·勒倫特獲國家專利權(quán)
- 恭喜漳州宏發(fā)電聲有限公司賴立芹獲國家專利權(quán)
- 恭喜上海建工五建集團有限公司潘峰獲國家專利權(quán)