買專利賣專利找龍圖騰，真高效！ 查專利查商標用IPTOP,全免費！專利年費監控用IP管家,真方便！

龍圖騰網恭喜杭州觀遠數據有限公司申請的專利結合輸入數據量的Spark離線任務資源調度優化方法獲國家發明授權專利權，本發明授權專利權由國家知識產權局授予，授權公告號為：CN119201474B 。

龍圖騰網通過國家知識產權局官網在2025-05-23發布的發明授權授權公告中獲悉：該發明授權的專利申請號/專利號為：202411666798.3，技術領域涉及：G06F9/50；該發明授權結合輸入數據量的Spark離線任務資源調度優化方法是由石凱;吳寶琪設計研發完成，并于2024-11-21向國家知識產權局提交的專利申請。

本結合輸入數據量的Spark離線任務資源調度優化方法在說明書摘要公布了：本申請涉及一種結合輸入數據量的Spark離線任務資源調度優化方法，通過采集并解析Spark離線任務，得到所述Spark離線任務的數據表的行數，并計算所述數據表的行數；基于預設的資源規則列表，對上述統計的總行數進行匹配，得到對應的所述計算資源規則；根據所述計算資源規則，將所述Spark離線任務調度發送至對應的執行節點進行執行。能夠結合Spark離線任務數據表的行數的屬性，進行計算資源的優化調度，使得在實際計算的過程中能夠根據Spark任務輸入數據表的數據量，動態按照預設規則進行資源參數配置，以此優化計算資源的分配，提高計算效率，促使Spark離線任務高效運行，有效滿足客戶需求。

本發明授權結合輸入數據量的Spark離線任務資源調度優化方法在權利要求書中公布了：1.一種結合輸入數據量的Spark離線任務資源調度優化方法，其特征在于，包括如下步驟：S1、預設構建由不同行數與對應計算資源規則組成的資源規則列表，包括：構建用于提取行數以及識別計算資源規則的大模型提示詞，并配置在預設的LLM大語言模型中；從后臺數據庫中收集若干所述Spark離線任務的歷史執行日志；遍歷所述歷史執行日志，由所述LLM大語言模型基于所述大模型提示詞，從所述歷史執行日志中識別并提取出不同所述Spark離線任務的所述輸入數據量的行數與執行所述Spark離線任務的計算資源規則；統計不同所述Spark離線任務的行數與對應的計算資源規則，并由所述LLM大語言模型將其自動填寫至預設的規則表中，得到所述資源規則列表；將所述資源規則列表配置在資源調度器中；由LLM大語言模型，從后臺數據庫中的歷史執行日志中來識別不同Spark離線任務的執行日志，從執行日志中識別并提取出不同Spark離線任務的行數以及執行該任務的計算資源規則，包括如下步驟：1）.?數據準備?：收集并準備包含所需信息的日志文件2）.?分詞與嵌入?：使用分詞器將日志文本分割成小的文本塊tokens；將這些tokens映射到特定的整數編碼，并轉換為高維向量的數值表示embeddings；3）.?模型預測?：利用LLM的多層神經網絡和注意力機制對嵌入向量進行處理；根據提示詞生成與日志內容相關的預測結果；4）.?數據提取?：從模型的輸出中解析并提取出與提示詞相關的信息；S2、采集并解析所述Spark離線任務，得到所述Spark離線任務的輸入數據量，并計算所述輸入數據量的行數；S3、基于所述資源規則列表，對所述輸入數據量的行數進行匹配，得到對應的所述計算資源規則；S4、根據所述計算資源規則，將所述Spark離線任務調度發送至對應的執行節點進行執行。

如需購買、轉讓、實施、許可或投資類似專利技術，可聯系本專利的申請人或專利權人杭州觀遠數據有限公司，其通訊地址為：311100 浙江省杭州市余杭區五常街道文一西路998號18幢708室；或者聯系龍圖騰網官方客服，聯系龍圖騰網可撥打電話0551-65771310或微信搜索“龍圖騰網”。