亚洲精品三,久久久久欧美,日本九九热,久久久鲁,天堂一区,天堂精品久久,亚洲久久

入選 SOSP 2025!趨境科技 KTransformers 突破異構(gòu)計(jì)算瓶頸 大模型推理成本大降

趨境科技與清華共同開源的入選高性能異構(gòu)推理框架 KTransformers,其論文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》成功入選 “計(jì)算機(jī)系統(tǒng)領(lǐng)域奧斯卡” SOSP 2025。趨境作為計(jì)算機(jī)系統(tǒng)領(lǐng)域最具影響力的科技國(guó)際頂會(huì)之一,SOSP 見證了無(wú)數(shù)里程碑式技術(shù)成果的突推理首次亮相,從虛擬化到分布式文件系統(tǒng),破異此次 KTransformers 的構(gòu)計(jì)入選,標(biāo)志著其異構(gòu)計(jì)算技術(shù)得到全球頂尖學(xué)術(shù)與工業(yè)界的算瓶認(rèn)可。

KTransformers 專注于高效利用底層 GPU、模型CPU、成本內(nèi)存等多樣化算力,大降讓大模型在更低算力、入選更靈活的趨境硬件架構(gòu)上高效運(yùn)行。在大模型推理中,科技趨境科技提出了一條不同以往的突推理道路:一套面向 CPU+GPU 異構(gòu)架構(gòu)的 MoE 推理系統(tǒng)方案,讓原本只能依賴昂貴多卡 GPU 的破異大模型,能在 CPU 參與的硬件環(huán)境中實(shí)現(xiàn)接近同等性能的推理體驗(yàn)。技術(shù)層面上,它通過一系列系統(tǒng)級(jí)創(chuàng)新,讓 GPU 負(fù)責(zé)注意力和主干網(wǎng)絡(luò)的高并行計(jì)算,CPU 則承擔(dān)稀疏專家模塊的推理任務(wù),實(shí)現(xiàn)了高效的 CPU+GPU 協(xié)同執(zhí)行。

11 月 6 日月之暗面發(fā)布 Kimi-K2-Thinking 模型后,KTransformers 已完成對(duì)該模型的全面適配,支持用戶在單卡環(huán)境下完成推理任務(wù),2 卡環(huán)境下完成 LoRA 微調(diào)任務(wù),大幅降低部署與定制化門檻。同時(shí),趨境科技也已完成了該模型在昇騰 NPU 上的全面適配,提供了完善的全國(guó)產(chǎn)化推理解決方案。

10 月,KTransformers 與主流推理框架 SGLang 的合作,雙方架構(gòu)合入同一分支,在 Kimi-K2-1TB 的模型推理任務(wù)中,用戶僅需簡(jiǎn)單安裝 SGLang 與 KTransformers CPU 內(nèi)核,下載官方模型及量化權(quán)重,即可通過一條命令啟動(dòng)服務(wù);同時(shí)僅使用單張消費(fèi)級(jí) GPU+CPU。此次合作融合了 GPU+CPU 異構(gòu)推理創(chuàng)新模式與全 GPU 的傳統(tǒng)推理模式,雙方聯(lián)合推動(dòng)大模型推理向更高性能、更低成本的方向演進(jìn),同時(shí)推動(dòng)大模型推理架構(gòu)變得更加完善,將邁向更廣泛的產(chǎn)業(yè)落地。

針對(duì)模型微調(diào),KTransformers 與 LLaMA-Factory 深度集成,支持用戶使用 LoRA 等輕量級(jí)微調(diào)方法,在極少量 GPU 資源下完成模型定制。傳統(tǒng)上,LoRA 微調(diào)千億模型成本高達(dá)數(shù)百萬(wàn),趨境科技提供的異構(gòu)微調(diào)能力將資源需求降低到單個(gè)消費(fèi)級(jí) GPU(如 RTX 4090)起,這使得高校、中小型實(shí)驗(yàn)室、初創(chuàng)公司甚至個(gè)人開發(fā)者都有機(jī)會(huì)參與進(jìn)來。該微調(diào)方案在較小規(guī)模的 MoE 模型(DeepSeek-14B)上面也展現(xiàn)了超過傳統(tǒng)方案 1.8 倍的吞吐、顯存占用降低 82%,成為消費(fèi)級(jí)顯卡上微調(diào)超大參數(shù) MoE 模型的唯一可行方案。

如今的 KTransformers 已成為一個(gè)被開發(fā)者、廠商與開源社區(qū)廣泛復(fù)用的共建式底層框架。全球頭部開源模型方,如 Qwen、Kimi、智譜 AI 等多個(gè)主流大模型,都在模型發(fā)布首日就推薦 KTransformers 作為推理引擎支持;其工程實(shí)踐與兼容性也被多家一體機(jī)產(chǎn)品線采納。趨境科技始終是異構(gòu)路線的核心推動(dòng)者,已與多個(gè)國(guó)產(chǎn) CPU、GPU 硬件平臺(tái)合作,共同推進(jìn)全國(guó)產(chǎn)高性價(jià)比方案;為數(shù)十家行業(yè)開發(fā)伙伴提供算力底座,逐步實(shí)現(xiàn)算力普惠。未來,趨境希望讓 AI 能力不再專屬于少數(shù)企業(yè),讓大模型真正為業(yè)務(wù)所用。

推薦內(nèi)容
庆阳市| 图们市| 加查县| 富川| 龙岩市| 扶绥县| 深水埗区| 建德市| 麻江县| 松阳县| 江西省| 安远县| 丰县| 高安市| 巩义市| 义乌市| 扶沟县| 宁都县| 博白县| 盐边县| 卢氏县| 德令哈市| 梅河口市| 石林| 东兴市| 资源县| 夏津县| 汨罗市| 富阳市| 崇文区| 沅陵县| 沐川县| 德化县| 济阳县| 宕昌县| 淮阳县| 于田县| 潜江市| 茶陵县| 温泉县| 东兰县|