趨境科技與清華共同開源的入選高性能異構(gòu)推理框架 KTransformers，其論文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》成功入選 “計(jì)算機(jī)系統(tǒng)領(lǐng)域奧斯卡” SOSP 2025。趨境作為計(jì)算機(jī)系統(tǒng)領(lǐng)域最具影響力的科技國際頂會之一，SOSP 見證了無數(shù)里程碑式技術(shù)成果的突推理首次亮相，從虛擬化到分布式文件系統(tǒng)，破異此次 KTransformers 的構(gòu)計(jì)入選，標(biāo)志著其異構(gòu)計(jì)算技術(shù)得到全球頂尖學(xué)術(shù)與工業(yè)界的算瓶認(rèn)可。

KTransformers 專注于高效利用底層 GPU、模型CPU、成本內(nèi)存等多樣化算力，大降讓大模型在更低算力、入選更靈活的趨境硬件架構(gòu)上高效運(yùn)行。在大模型推理中，科技趨境科技提出了一條不同以往的突推理道路：一套面向 CPU+GPU 異構(gòu)架構(gòu)的 MoE 推理系統(tǒng)方案，讓原本只能依賴昂貴多卡 GPU 的破異大模型，能在 CPU 參與的硬件環(huán)境中實(shí)現(xiàn)接近同等性能的推理體驗(yàn)。技術(shù)層面上，它通過一系列系統(tǒng)級創(chuàng)新，讓 GPU 負(fù)責(zé)注意力和主干網(wǎng)絡(luò)的高并行計(jì)算，CPU 則承擔(dān)稀疏專家模塊的推理任務(wù)，實(shí)現(xiàn)了高效的 CPU+GPU 協(xié)同執(zhí)行。

11 月 6 日月之暗面發(fā)布 Kimi-K2-Thinking 模型后，KTransformers 已完成對該模型的全面適配，支持用戶在單卡環(huán)境下完成推理任務(wù)，2 卡環(huán)境下完成 LoRA 微調(diào)任務(wù)，大幅降低部署與定制化門檻。同時(shí)，趨境科技也已完成了該模型在昇騰 NPU 上的全面適配，提供了完善的全國產(chǎn)化推理解決方案。

10 月，KTransformers 與主流推理框架 SGLang 的合作，雙方架構(gòu)合入同一分支，在 Kimi-K2-1TB 的模型推理任務(wù)中，用戶僅需簡單安裝 SGLang 與 KTransformers CPU 內(nèi)核，下載官方模型及量化權(quán)重，即可通過一條命令啟動服務(wù)；同時(shí)僅使用單張消費(fèi)級 GPU+CPU。此次合作融合了 GPU+CPU 異構(gòu)推理創(chuàng)新模式與全 GPU 的傳統(tǒng)推理模式，雙方聯(lián)合推動大模型推理向更高性能、更低成本的方向演進(jìn)，同時(shí)推動大模型推理架構(gòu)變得更加完善，將邁向更廣泛的產(chǎn)業(yè)落地。

針對模型微調(diào)，KTransformers 與 LLaMA-Factory 深度集成，支持用戶使用 LoRA 等輕量級微調(diào)方法，在極少量 GPU 資源下完成模型定制。傳統(tǒng)上，LoRA 微調(diào)千億模型成本高達(dá)數(shù)百萬，趨境科技提供的異構(gòu)微調(diào)能力將資源需求降低到單個(gè)消費(fèi)級 GPU（如 RTX 4090）起，這使得高校、中小型實(shí)驗(yàn)室、初創(chuàng)公司甚至個(gè)人開發(fā)者都有機(jī)會參與進(jìn)來。該微調(diào)方案在較小規(guī)模的 MoE 模型（DeepSeek-14B）上面也展現(xiàn)了超過傳統(tǒng)方案 1.8 倍的吞吐、顯存占用降低 82%，成為消費(fèi)級顯卡上微調(diào)超大參數(shù) MoE 模型的唯一可行方案。

如今的 KTransformers 已成為一個(gè)被開發(fā)者、廠商與開源社區(qū)廣泛復(fù)用的共建式底層框架。全球頭部開源模型方，如 Qwen、Kimi、智譜 AI 等多個(gè)主流大模型，都在模型發(fā)布首日就推薦 KTransformers 作為推理引擎支持；其工程實(shí)踐與兼容性也被多家一體機(jī)產(chǎn)品線采納。趨境科技始終是異構(gòu)路線的核心推動者，已與多個(gè)國產(chǎn) CPU、GPU 硬件平臺合作，共同推進(jìn)全國產(chǎn)高性價(jià)比方案；為數(shù)十家行業(yè)開發(fā)伙伴提供算力底座，逐步實(shí)現(xiàn)算力普惠。未來，趨境希望讓 AI 能力不再專屬于少數(shù)企業(yè)，讓大模型真正為業(yè)務(wù)所用。

• ·“撤回發(fā)言”！日本民眾在首相官邸前抗議高市涉臺言論
• ·全球首個(gè)AI Agent交易市場MuleRun升級 上線一個(gè)月用戶數(shù)突破50萬
• ·“追新”成2025雙11 3C數(shù)碼消費(fèi)核心特征 京東銷售額占比超五成持續(xù)領(lǐng)跑
• ·輔助駕駛專項(xiàng)評測榜單出爐：智界R7第一、小米YU7第二
• ·鴻蒙獨(dú)家快遞服務(wù)體驗(yàn)！京東快遞接入鴻蒙元服務(wù) 收發(fā)快遞更便捷
• ·1小時(shí)山路3分鐘送達(dá)！淘寶閃購開通國內(nèi)首個(gè)海島無人機(jī)航線
• ·（粵港澳全運(yùn)會）乒乓球男、女單打1/8決賽：孫穎莎、樊振東等晉級八強(qiáng)
• ·通用汽車要求供應(yīng)鏈移出中國：終止一切采購 2027年前完成
• ·預(yù)售破進(jìn)口動畫電影紀(jì)錄 《鬼滅之刃：無限城篇》票房破5億
• ·40歲C羅確認(rèn)一兩年內(nèi)退役！明年世界杯最后一舞
• ·1小時(shí)山路3分鐘送達(dá)！淘寶閃購開通國內(nèi)首個(gè)海島無人機(jī)航線
• ·安全性接近國產(chǎn)大飛機(jī)C919！蘿卜快跑出行服務(wù)次數(shù)已超1700萬 全球第一
• ·國鐵集團(tuán)鄭州局開行6列“球迷專列”
• ·長城汽車填補(bǔ)全球技術(shù)空白 Hi4榮獲科學(xué)技術(shù)獎(jiǎng)特等獎(jiǎng)
• ·特斯拉郁悶！詳解新國標(biāo)意見稿：單踏板、屏幕換擋將被禁用
• ·雙超來襲！榮耀500系列外觀與配置全面拉滿