歷經(jīng)二十余年在教育信息化領(lǐng)域的持續(xù)深耕,新開普始終致力于以技術(shù)創(chuàng)新驅(qū)動(dòng)行業(yè)發(fā)展,成功構(gòu)建了覆蓋教學(xué)、管理、服務(wù)等多場(chǎng)景的智慧校園生態(tài)體系。結(jié)合公司智慧校園場(chǎng)景解決方案和產(chǎn)品實(shí)踐,新開普推出了涵蓋校園全場(chǎng)景AI助手、智能體創(chuàng)新平臺(tái)、私有模型定制開發(fā)與部署等核心模塊的智慧校園AI解決方案矩陣,深度聚焦智慧校園建設(shè)場(chǎng)景的智能化需求,有效推動(dòng)高校數(shù)字化轉(zhuǎn)型進(jìn)程。
本文將重點(diǎn)闡述備受矚目的國(guó)產(chǎn)DeepSeek-R1模型如何賦能新開普智慧校園AI解決方案,推動(dòng)其持續(xù)升級(jí)并提供強(qiáng)大的智能化服務(wù)。后續(xù)系列文章還將深度剖析公司其他已落地實(shí)施的AI解決方案,全方位展現(xiàn)AI技術(shù)在教育信息化領(lǐng)域的實(shí)踐成效。
DeepSeek-R1作為國(guó)產(chǎn)大模型標(biāo)桿,憑借6710億參數(shù)規(guī)模與MoE稀疏架構(gòu),在人工智能領(lǐng)域?qū)崿F(xiàn)了新突破,其技術(shù)核心在于運(yùn)用規(guī)則驅(qū)動(dòng)且獎(jiǎng)勵(lì)可驗(yàn)證的強(qiáng)化學(xué)習(xí)技術(shù),激發(fā)預(yù)訓(xùn)練模型構(gòu)建 “長(zhǎng)思維鏈”的能力。長(zhǎng)思維鏈類似人的思考過程:比如在理工科考試中,考生寫在草稿紙上的演算過程。而在復(fù)雜推理、數(shù)學(xué)計(jì)算、編程等任務(wù)中,長(zhǎng)思維鏈模型的發(fā)散性假設(shè)、驗(yàn)證、推理、反思等高級(jí)認(rèn)知能力尤為讓人印象深刻。這種"深思熟慮"的決策路徑,相較傳統(tǒng)模型的即時(shí)反饋模式顯著提升了復(fù)雜場(chǎng)景下的回復(fù)質(zhì)量。
作為全球第二個(gè)掌握長(zhǎng)思維鏈訓(xùn)練技術(shù)的AI實(shí)體(此前僅美國(guó)OpenAI的o1模型具備該能力),DeepSeek-R1打破國(guó)外技術(shù)壟斷構(gòu)建自主可控的AI基礎(chǔ)設(shè)施,又為教育行業(yè)智能化升級(jí)提供新范式。目前該模型已在全國(guó)政府、高校系統(tǒng)實(shí)現(xiàn)規(guī)?;渴?,新開普作為教育信息化領(lǐng)軍企業(yè),在完成模型部署技術(shù)路徑驗(yàn)證的基礎(chǔ)上,進(jìn)行了前瞻性的行業(yè)思考。
校園場(chǎng)景千姿百態(tài)我們總需要深度思考嗎?
現(xiàn)階段的“深思熟慮”是有代價(jià)的,即更長(zhǎng)的等待時(shí)間和更多的算力成本。為滿足多樣化需求,結(jié)合使用性能良好的非長(zhǎng)思維鏈模型與DeepSeek-R1長(zhǎng)思維鏈模型成為更優(yōu)選擇。
以新開普小美助手家族系列產(chǎn)品為例,系統(tǒng)能基于任務(wù)認(rèn)知層級(jí)使用不同類型的模型,無(wú)論采用遠(yuǎn)程調(diào)用還是本地部署的方式,都能有效降低成本、減少用戶等待時(shí)間,提升整體用戶體驗(yàn)。
深度認(rèn)知層:針對(duì)數(shù)據(jù)洞察、專業(yè)決策問答、學(xué)科答疑、考試陪練、考題生成及試卷批改等復(fù)雜任務(wù),由DeepSeek-R1負(fù)責(zé)處理。
即時(shí)響應(yīng)層:對(duì)于意圖識(shí)別、校內(nèi)知識(shí)問答、應(yīng)用推薦及業(yè)務(wù)辦理等強(qiáng)調(diào)即時(shí)反饋的簡(jiǎn)單任務(wù),采用非長(zhǎng)思維鏈模型快速響應(yīng)(小美助手家族和星工場(chǎng)平臺(tái)兼容各類主流大模型)。
自由拓展層:用戶也可根據(jù)自身需求與偏好,靈活自由地切換DeepSeek-R1及其他模型,根據(jù)實(shí)際應(yīng)用場(chǎng)景調(diào)整使用策略。
DeepSeek-R1賦能本地化 AI 解決方案
除了小美家族系列校園AI助手,新開普自研的星工場(chǎng)智能體創(chuàng)新平臺(tái)、大模型定制訓(xùn)練服務(wù)和本地部署服務(wù)也已全面接入DeepSeek-R1。這種接入不僅限于遠(yuǎn)程API調(diào)用,更能通過蒸餾+強(qiáng)化學(xué)習(xí)的訓(xùn)練方法,使小參數(shù)量模型具備長(zhǎng)思維鏈生成能力,從而打造性價(jià)比更高、任務(wù)適配性更強(qiáng),且更適合本地部署的長(zhǎng)思維鏈模型。
與此同時(shí),公司研發(fā)團(tuán)隊(duì)依托MoE模型架構(gòu)的優(yōu)勢(shì),對(duì)前向傳播計(jì)算進(jìn)行優(yōu)化,顯著降低GPU顯存占用,進(jìn)一步放寬了DeepSeek-R1本地部署的算力要求。接下來(lái),我們將介紹DeepSeek-R1在校園場(chǎng)景的部分應(yīng)用案例,并深入展示新開普在高效完成本地化部署和模型定制優(yōu)化方面的技術(shù)優(yōu)勢(shì)。
場(chǎng)景用例
1、專業(yè)決策問答——報(bào)銷智能助手場(chǎng)景展示
小美智能助手結(jié)合DeepSeek-R1,提供本地部署與云服務(wù)兩種模式,能夠?qū)痈黝悩I(yè)務(wù)系統(tǒng),滿足自動(dòng)化辦事、答疑解惑、數(shù)據(jù)查詢等核心管理與服務(wù)需求。
以涉及復(fù)雜的政策匹配與審批環(huán)節(jié)的報(bào)銷流程為例,DeepSeek-R1憑借長(zhǎng)思維鏈推理能力,精準(zhǔn)解析用戶需求和上下文信息,高效響應(yīng)問答并提供決策輔助。
用戶提問:“我要報(bào)銷參加CVPR(IEEE國(guó)際計(jì)算機(jī)視覺與模式識(shí)別會(huì)議)的差旅費(fèi),該怎么操作?”
智能助手解析:識(shí)別核心任務(wù)(報(bào)銷差旅費(fèi)),自動(dòng)匹配具體會(huì)議(CVPR)及相應(yīng)的高校報(bào)銷政策,并精準(zhǔn)推送適用的報(bào)銷流程,避免用戶翻閱冗長(zhǎng)的文檔。
此外,小美與DeepSeek-R1的結(jié)合,還廣泛適用于職稱評(píng)定與獎(jiǎng)學(xué)金申請(qǐng)、校友資源與職業(yè)發(fā)展、突發(fā)事件應(yīng)對(duì)、選課指南與學(xué)術(shù)助手等多種專業(yè)決策問答場(chǎng)景,為用戶提供精準(zhǔn)高效的支持。
然而,對(duì)于高校本地化部署而言,DeepSeek-R1強(qiáng)大的推理能力伴隨的較高算力開銷,可能成為實(shí)際落地方案推進(jìn)過程中的瓶頸。
為突破這一瓶頸,進(jìn)一步提升校園場(chǎng)景中大模型的落地效果,新開普研發(fā)團(tuán)隊(duì)將DeepSeek-R1賦能服務(wù)與管理的關(guān)鍵能力拆解為語(yǔ)義理解與任務(wù)拆解、跨層級(jí)知識(shí)關(guān)聯(lián)、個(gè)性化適配以及任務(wù)自動(dòng)化與工具集成四個(gè)核心方面,同時(shí),針對(duì)性收集并制備與這些關(guān)鍵能力相契合的校園語(yǔ)料,在公司自研的星普校園大模型上,通過SFT+RL(監(jiān)督微調(diào)+強(qiáng)化學(xué)習(xí))的訓(xùn)練技術(shù),實(shí)現(xiàn)了與DeepSeek-R1相近的智能推理效果,而算力消耗僅約為其 1/20(內(nèi)部測(cè)評(píng)驗(yàn)證)。這一創(chuàng)新成果帶來(lái)諸多優(yōu)勢(shì):
低成本部署:高校能夠在有限的算力預(yù)算內(nèi),在校內(nèi)服務(wù)器上高效運(yùn)行AI助手,實(shí)現(xiàn)本地化智能推理,降低運(yùn)營(yíng)成本。
本地?cái)?shù)據(jù)安全:支持私有化部署模式,有效避免敏感數(shù)據(jù)外泄風(fēng)險(xiǎn),嚴(yán)格符合數(shù)據(jù)合規(guī)要求,保障校園數(shù)據(jù)安全。
高效任務(wù)處理:針對(duì)報(bào)銷、學(xué)術(shù)、選課、職業(yè)規(guī)劃等場(chǎng)景,提供接近DeepSeek-R1級(jí)別的強(qiáng)大推理能力,同時(shí)降低GPU顯存占用,提高本地化推理效率,為校園用戶帶來(lái)更優(yōu)質(zhì)的服務(wù)體驗(yàn)。
2、提供學(xué)科答疑——智能助教場(chǎng)景展示
星工場(chǎng)智能體創(chuàng)新平臺(tái)融合DeepSeek-R1的強(qiáng)大能力,靈活支持本地部署和云服務(wù)兩種模式,賦能每所學(xué)院為每門課程量身定制教學(xué)助手,深度回答學(xué)生圍繞教學(xué)內(nèi)容提出的各類問題,極大地節(jié)省授課教師與學(xué)生助教的時(shí)間精力,有效提升教學(xué)效率。
在理科與工科領(lǐng)域,有力支持代碼調(diào)試、實(shí)驗(yàn)設(shè)計(jì)、公式推導(dǎo)等復(fù)雜應(yīng)用場(chǎng)景,全面提升解題準(zhǔn)確率,助力學(xué)生攻克專業(yè)難題;
在文科與社科范疇,平臺(tái)可提供文獻(xiàn)綜述、引用推薦、思路指導(dǎo)以及學(xué)術(shù)趨勢(shì)分析等服務(wù),使科研效率實(shí)現(xiàn)倍增,為學(xué)術(shù)研究注入強(qiáng)大動(dòng)力。
憑借強(qiáng)大的推理能力,DeepSeek-R1在AI助教的多個(gè)關(guān)鍵領(lǐng)域展現(xiàn)出顯著價(jià)值,涵蓋教案自動(dòng)生成、作業(yè)智能批改等助教工作,個(gè)性化輔導(dǎo)、問題即時(shí)答疑等助學(xué)環(huán)節(jié),以及試卷智能生成、個(gè)性化補(bǔ)考方案等助考方面。但DeepSeek-R1和其他通用大模型在精準(zhǔn)適配特色學(xué)科教學(xué)內(nèi)容方面仍存在一定原生局限性。
面對(duì)不同高校特色學(xué)科的精準(zhǔn)適配需求及高昂算力成本挑戰(zhàn),新開普研發(fā)團(tuán)隊(duì)與高校展開深度合作,提供定制化解決方案,通過對(duì)百億量級(jí)標(biāo)桿基座模型(諸如DeepSeek蒸餾版模型、星普大模型)進(jìn)行專項(xiàng)優(yōu)化,結(jié)合精細(xì)數(shù)據(jù)篩選、標(biāo)桿模型導(dǎo)入、監(jiān)督微調(diào)(SFT)+強(qiáng)化學(xué)習(xí)(RL)、精準(zhǔn)評(píng)測(cè)+迭代優(yōu)化,確保模型精準(zhǔn)貼合各高校的學(xué)科建設(shè)需求。
同時(shí),優(yōu)化后的模型在算力成本方面具有優(yōu)勢(shì)顯著,能夠在本地實(shí)現(xiàn)高效部署,支持萬(wàn)人級(jí)并發(fā),通過學(xué)科定制化+高效部署的雙重優(yōu)化,為高校提供更為精準(zhǔn)、智能的教學(xué)支持,強(qiáng)力推動(dòng)智慧校園建設(shè)與精品課程的蓬勃發(fā)展。
3、精準(zhǔn)數(shù)據(jù)洞察——數(shù)據(jù)智能場(chǎng)景的應(yīng)用與優(yōu)化
高校在服務(wù)管理、教學(xué)、科研等多個(gè)領(lǐng)域積累了種類豐富、規(guī)模龐大的數(shù)據(jù),其中許多已接入校園統(tǒng)一數(shù)據(jù)平臺(tái),涵蓋消費(fèi)、選課/排課、論文提交、教室資源、實(shí)驗(yàn)、社團(tuán)、輿情、就業(yè)、檔案、食堂、校車服務(wù)等眾多方面。
依托對(duì)接數(shù)據(jù)平臺(tái),新開普提供的智能化解決方案深度融合小美智能助手、DeepSeek-R1及星工場(chǎng)創(chuàng)作平臺(tái),有力支持跨部門的數(shù)據(jù)整合與深度挖掘,以教學(xué)、科研、后勤數(shù)據(jù)為例,能夠?qū)崿F(xiàn)多方面的高效應(yīng)用:
教學(xué)質(zhì)量評(píng)估:借助課堂反饋與成績(jī)趨勢(shì)分析,預(yù)測(cè)學(xué)生掛科風(fēng)險(xiǎn),進(jìn)而優(yōu)化教學(xué)方案,提升教學(xué)質(zhì)量。
校園安全預(yù)警:分析門禁記錄與事件上報(bào)數(shù)據(jù),及時(shí)識(shí)別異常行為并觸發(fā)應(yīng)急響應(yīng),保障校園安全。
資源智能調(diào)度:根據(jù)需求動(dòng)態(tài)調(diào)整教室、食堂、校車等資源配置,顯著提高資源利用率。
在自然語(yǔ)言生成SQL指令這一關(guān)鍵環(huán)節(jié),新開普依托多年積累的自有數(shù)據(jù)庫(kù)與開源數(shù)據(jù)的結(jié)合,通過監(jiān)督微調(diào)(SFT)+強(qiáng)化學(xué)習(xí)(RL)訓(xùn)練出星普SQL大模型,該模型的SQL查詢準(zhǔn)確率較一般通用大模型提升30個(gè)百分點(diǎn)(絕對(duì)值),總體準(zhǔn)確率≥90%,表現(xiàn)媲美滿血版的DeepSeek-R1,但算力成本僅約為其1/20(內(nèi)部測(cè)評(píng)驗(yàn)證)。
憑借深厚的數(shù)據(jù)積累與卓越的模型優(yōu)化能力,公司致力于構(gòu)建高效、低成本、精準(zhǔn)可控的數(shù)據(jù)智能生態(tài),賦能高校數(shù)智化升級(jí),為智慧校園建設(shè)提供強(qiáng)勁驅(qū)動(dòng)力。
4、智能體自動(dòng)化創(chuàng)建——以 AI 輔導(dǎo)員的創(chuàng)建為例
星工場(chǎng)創(chuàng)新平臺(tái),是一款專為校園打造的AI智能體與應(yīng)用創(chuàng)新平臺(tái),它與公司自有的智慧校園業(yè)務(wù)相結(jié)合,通過預(yù)置模板和AI自動(dòng)化能力,支持用戶便捷地創(chuàng)建和編輯AI智能體與應(yīng)用,助力校園智能化升級(jí)。在這一創(chuàng)新生態(tài)中,DeekSeek-R1/V3模型不僅服務(wù)于智能體本身,更扮演著“智能體創(chuàng)造者”的角色,極大地提升了創(chuàng)作過程的舒適度和便捷性。
以AI輔導(dǎo)員的創(chuàng)建為例,用戶只需在星工場(chǎng)中輸入“創(chuàng)建一個(gè)AI輔導(dǎo)員”,系統(tǒng)便會(huì)自動(dòng)擴(kuò)展AI輔導(dǎo)員的職責(zé)范圍,并生成格式優(yōu)美、內(nèi)容豐富的提示詞,同時(shí)構(gòu)建邏輯清晰、可用性強(qiáng)的工作流。創(chuàng)作者僅需對(duì)生成內(nèi)容進(jìn)行調(diào)整或提出進(jìn)一步要求,即可輕松優(yōu)化AI輔導(dǎo)員的功能,從而大幅降低創(chuàng)作門檻與時(shí)間精力投入。
核心優(yōu)勢(shì)
1、強(qiáng)化人才與算力基石 驅(qū)動(dòng)AI創(chuàng)新與服務(wù)升級(jí)
在研發(fā)人才投入上,新開普組建了一支實(shí)力卓越的AI研發(fā)團(tuán)隊(duì)與專業(yè)的售前團(tuán)隊(duì),核心成員均畢業(yè)于國(guó)內(nèi)外Top 10頂尖高校,擁有深厚的學(xué)術(shù)底蘊(yùn)與豐富的行業(yè)實(shí)踐經(jīng)驗(yàn)。團(tuán)隊(duì)成員曾在業(yè)界領(lǐng)先的科技企業(yè)或科研機(jī)構(gòu)深耕多年,精通計(jì)算機(jī)視覺、自然語(yǔ)言處理等尖端技術(shù),業(yè)務(wù)能力覆蓋算法研發(fā)、工程實(shí)現(xiàn)以及應(yīng)用落地等多個(gè)關(guān)鍵環(huán)節(jié),為公司技術(shù)創(chuàng)新與產(chǎn)品交付鑄就堅(jiān)實(shí)基石。
在算力資源布局上,公司已完成本地GPU集群的搭建,并靈活租用云GPU服務(wù)器,可實(shí)現(xiàn)對(duì)NVIDIA A100、H20、L40以及昇騰910B等高性能計(jì)算卡的調(diào)度,確保大模型訓(xùn)練擁有充足且穩(wěn)定的算力資源支撐,有效提升了運(yùn)算的高效性與穩(wěn)定性,為技術(shù)突破奠定了堅(jiān)實(shí)基礎(chǔ)。
面對(duì)AI技術(shù)的日新月異與客戶需求的瞬息萬(wàn)變,新開普憑借雄厚的人才庫(kù)與強(qiáng)大的算力資源,成功建立了持續(xù)服務(wù)能力體系,確保客戶在任何時(shí)間、任何地點(diǎn),都能便捷地獲取高效的本地部署服務(wù)、前沿的深度學(xué)習(xí)算法、專業(yè)的行業(yè)洞察、精準(zhǔn)的形勢(shì)判斷以及創(chuàng)新的解決方案,始終保持與技術(shù)前沿同步,靈活應(yīng)對(duì)市場(chǎng)挑戰(zhàn)。
2、打造高效本地化AI解決方案 三大核心優(yōu)勢(shì)賦能行業(yè)智能化升級(jí)
本地化部署可以為高校筑牢數(shù)據(jù)隱私安全防線,極大程度降低師生個(gè)人數(shù)據(jù)以及各部門、科處數(shù)據(jù)的外部泄露風(fēng)險(xiǎn),但高昂的GPU服務(wù)器成本與復(fù)雜的集群建設(shè)過程往往成為其普及的障礙。
針對(duì)這一挑戰(zhàn),新開普研發(fā)團(tuán)隊(duì)深入探索,圍繞本地化部署方案打造三大核心優(yōu)勢(shì),不僅簡(jiǎn)化了私有化本地模型的部署流程,確保數(shù)據(jù)安全牢固地留在校園內(nèi)部,而且有效降低了算力成本,顯著增強(qiáng)了本地部署方案的吸引力與可操作性,為高校帶來(lái)了更加經(jīng)濟(jì)、高效且安全的AI解決方案。
(1)強(qiáng)化學(xué)習(xí)激發(fā)小參數(shù)量模型長(zhǎng)思維鏈能力
相較于超大規(guī)模模型,中小參數(shù)量模型在推理速度和部署成本方面具有顯著優(yōu)勢(shì),尤其在長(zhǎng)思維鏈生成模式下,該優(yōu)勢(shì)更為凸顯。針對(duì)特定任務(wù),通過強(qiáng)化學(xué)習(xí)策略提升中小模型在特定領(lǐng)域內(nèi)的長(zhǎng)思維鏈生成能力,可以極大增強(qiáng)其實(shí)用價(jià)值。這種方法不僅有望在校園服務(wù)與管理、教學(xué)、科研等場(chǎng)景中取得優(yōu)異任務(wù)表現(xiàn),還可將算力開銷降至通用型超大模型的數(shù)十乃至數(shù)百分之一。
研發(fā)團(tuán)隊(duì)基于十億級(jí)與百億級(jí)參數(shù)量的基座模型,運(yùn)用監(jiān)督微調(diào)(SFT)+ 強(qiáng)化學(xué)習(xí)(RL),成功復(fù)現(xiàn)了DeepSeek-R1 671B模型的長(zhǎng)思維鏈生成能力。在強(qiáng)化學(xué)習(xí)方面,受DeepSeek-R1技術(shù)報(bào)告啟發(fā),團(tuán)隊(duì)創(chuàng)新性地遴選了函數(shù)調(diào)用、數(shù)學(xué)問題求解、SQL指令生成、編程題解、正則表達(dá)式生成、邏輯推理等獎(jiǎng)勵(lì)可驗(yàn)證的任務(wù),并以此構(gòu)建強(qiáng)化學(xué)習(xí)訓(xùn)練體系,從而有效提升模型的推理能力與思維連貫性。
與此同時(shí),團(tuán)隊(duì)持續(xù)拓展訓(xùn)練任務(wù)集,收集并生產(chǎn)更多高質(zhì)量訓(xùn)練數(shù)據(jù),進(jìn)一步提升模型的泛化能力。實(shí)驗(yàn)結(jié)果驗(yàn)證了小參數(shù)量長(zhǎng)思維鏈模型的可行性,表明其在專業(yè)決策問答、學(xué)科答疑、智能批改、數(shù)據(jù)洞察、智能門戶等校園AI場(chǎng)景中具備較高適用性,為實(shí)際應(yīng)用落地奠定基礎(chǔ),也為后續(xù)優(yōu)化與擴(kuò)展指明方向。
(2)顯存優(yōu)化技術(shù)
針對(duì)DeepSeek系列模型的MoE架構(gòu),新開普研發(fā)團(tuán)隊(duì)根據(jù)其特性對(duì)前向傳播計(jì)算進(jìn)行優(yōu)化,將計(jì)算合理分配至GPU顯存和CPU內(nèi)存,采用以內(nèi)存換顯存策略,有效降低GPU顯存占用。在擴(kuò)充GPU服務(wù)器內(nèi)存后,團(tuán)隊(duì)已成功在單張A800或H20 GPU上部署并運(yùn)行滿血671B DeepSeek-R1模型,且實(shí)現(xiàn)10 tokens/s的生成速度。
相較于市場(chǎng)上主流的兩節(jié)點(diǎn)16張H20或A800部署671B DeepSeek-R1的方案,團(tuán)隊(duì)的優(yōu)化方案將GPU算力成本降至原方案的約 1/16。目前,團(tuán)隊(duì)正進(jìn)一步優(yōu)化token生成速度,使單張GPU的推理性能更具實(shí)用價(jià)值。
除單張GPU部署外,團(tuán)隊(duì)還積極探索多節(jié)點(diǎn)部署方案的優(yōu)化,研究跨節(jié)點(diǎn)專家并行(EP)和預(yù)填充-解碼分離(PD disaggregation)技術(shù),以進(jìn)一步提升token吞吐量。
未來(lái),團(tuán)隊(duì)將持續(xù)加大在大模型適配低成本硬件方面的研發(fā)投入,確保其不僅能在高性能數(shù)據(jù)中心穩(wěn)定運(yùn)行,也能在資源受限環(huán)境中順利部署,推動(dòng)更廣泛的實(shí)際應(yīng)用,進(jìn)一步提升本地部署的經(jīng)濟(jì)性與可行性。
(3)大模型一體機(jī)
為解決傳統(tǒng)算力集群與模型獨(dú)立部署方案的復(fù)雜性與高昂成本問題,我們推出了大模型一體機(jī)——一款即插即用、軟硬一體化、高性能可擴(kuò)展的AI計(jì)算平臺(tái),支持DeepSeek-V3/R1全系列模型以及公司自研星普大模型和其他主流可商用開源模型(如Qwen、LLaMA、Baichuan、GLM等),滿足不同場(chǎng)景下的AI計(jì)算需求。
大模型一體機(jī)采用軟硬件一體化方案,出廠即預(yù)裝AI計(jì)算框架(PyTorch、vLLM、SGLang 等)和其他環(huán)境依賴,并可根據(jù)整體方案搭配小美系列校園助手和星工場(chǎng)創(chuàng)新平臺(tái),預(yù)先完成系統(tǒng)部署、大模型裝載、適配與調(diào)優(yōu)。用戶僅需進(jìn)行簡(jiǎn)單的網(wǎng)絡(luò)配置,即可運(yùn)行AI服務(wù),實(shí)現(xiàn)“拎機(jī)即用”,大幅降低軟硬件選型、采購(gòu)、部署及運(yùn)維的復(fù)雜度,加速AI計(jì)算能力的落地應(yīng)用。
不同任務(wù)場(chǎng)景對(duì)算力需求各異。公司提供的大模型一體機(jī)支持NVIDIA和昇騰兩大硬件方案,可根據(jù)業(yè)務(wù)需求靈活選擇,均支持多精度計(jì)算(FP16/BF16/ INT8/FP8),在保證計(jì)算精度的同時(shí),提高推理速度,降低能耗和使用成本。
NVIDIA 一體機(jī):搭載H20/A800/L40等GPU,適用于商用級(jí)AI部署,并通過3C認(rèn)證,確保設(shè)備符合國(guó)家安全與質(zhì)量標(biāo)準(zhǔn)。
昇騰一體機(jī):基于Atlas 800I A2推理服務(wù)器,集成8顆昇騰 910B計(jì)算卡,支持全棧國(guó)產(chǎn)化AI計(jì)算環(huán)境,提供安全、穩(wěn)定、高效的AI計(jì)算能力。
對(duì)于涉及私域數(shù)據(jù)的AI任務(wù),數(shù)據(jù)安全至關(guān)重要。大模型一體機(jī)采用本地私有化部署方式,無(wú)需依賴云端 API,有效避免數(shù)據(jù)泄露和隱私合規(guī)風(fēng)險(xiǎn)。同時(shí),新開普提供包括硬件維保、軟件調(diào)優(yōu)、遠(yuǎn)程技術(shù)支持等全方位的運(yùn)維保障服務(wù),確保系統(tǒng)穩(wěn)定運(yùn)行,降低客戶的長(zhǎng)期運(yùn)維成本,讓AI服務(wù)更加高效便捷。
服務(wù)時(shí)間:9:00-18:00(工作日)
人工在線咨詢,便捷、高效、即時(shí)