當(dāng)前，生成式AI和大模型正以燎原之勢(shì)走進(jìn)制造、金融、醫(yī)療、交通、教育等行業(yè)和領(lǐng)域，引發(fā)行業(yè)更多創(chuàng)新和變革，加速全社會(huì)數(shù)字化和智能化轉(zhuǎn)型。近日，工信部賽迪研究院發(fā)布報(bào)告顯示，2023年我國(guó)生成式人工智能市場(chǎng)規(guī)模有望突破10萬(wàn)億元。作為中國(guó)領(lǐng)先的計(jì)算產(chǎn)品方案提供商和AI服務(wù)器市場(chǎng)TOP3，寶德計(jì)算憑借豐富的市場(chǎng)經(jīng)驗(yàn)和對(duì)客戶AI需求的深刻洞察，攜手英特爾AI軟硬件基礎(chǔ)技術(shù)，匠心打磨和推出了寶德生成式AI解決方案。

　　一鍵部署，靈活定制

　　寶德AIGC解決方案是軟硬一體化解決方案，既可以集群部署也可以單機(jī)部署，方案架構(gòu)包含硬件層、平臺(tái)層、服務(wù)層和應(yīng)用層。在硬件層，寶德充分發(fā)揮了20年服務(wù)器行業(yè)技術(shù)積累，提供涵蓋AI訓(xùn)練服務(wù)器、AI推理服務(wù)器和AI邊緣產(chǎn)品等多平臺(tái)選擇和可兼容，進(jìn)行模型的高速訓(xùn)練、微調(diào)和高效推理。在硬件基礎(chǔ)上，方案采用K8S進(jìn)行集群資源管理(單機(jī)部署采用Docker)。基于雄厚的硬件層和平臺(tái)層，在服務(wù)層部署了ChatGLM大模型推理服務(wù)、由GLM微調(diào)而來(lái)的行業(yè)大模型-寶德酒業(yè)大模型推理服務(wù)、寶德自研的嵌入數(shù)據(jù)倉(cāng)庫(kù)服務(wù)，可以將行業(yè)數(shù)據(jù)轉(zhuǎn)換成向量數(shù)據(jù)，存儲(chǔ)到向量數(shù)據(jù)庫(kù)中，通過(guò)相似度匹配算法查詢出相關(guān)內(nèi)容交給大語(yǔ)言模型進(jìn)行推理、LLM Functions服務(wù)，主要讓大語(yǔ)言模型擁有調(diào)用后端接口的能力?；谶@些硬件和服務(wù)，寶德開(kāi)發(fā)了諸如聊德寶、AI客服和數(shù)字人等多種AI應(yīng)用，可廣泛服務(wù)于行業(yè)大模型、智能語(yǔ)音助手、網(wǎng)絡(luò)直播、線上教育和培訓(xùn)等領(lǐng)域。

　　值得一提的是，寶德深耕行業(yè)多年，基于對(duì)市場(chǎng)的理解和對(duì)客戶生成式AI多樣性的計(jì)算需求，可提供生成式AI解決方案的定制化服務(wù)。

　　性能卓越、成本可控

　　AIGC快速發(fā)展之時(shí)，算力越來(lái)越緊缺和成本越來(lái)越高，逐漸成為影響AIGC發(fā)展和落地應(yīng)用的“絆腳石”。并且，從大模型的發(fā)展和應(yīng)用看，AI推理的規(guī)模遠(yuǎn)高于訓(xùn)練，有效降低推理成本成為寶德的思路。對(duì)此，寶德技術(shù)團(tuán)隊(duì)經(jīng)過(guò)反復(fù)測(cè)試和調(diào)優(yōu)，精心準(zhǔn)備了全部采用英特爾全新的至強(qiáng)處理器(Max系列)平臺(tái)，以及Intel GPU的AIGC解決方案，使其集強(qiáng)大的AI計(jì)算、推理性能和卓越的經(jīng)濟(jì)效益于一體，以充分釋放AI動(dòng)能。

　　第四代英特爾?至強(qiáng)?可擴(kuò)展處理器MAX系列CPU在大語(yǔ)言模型(LLM)推理方面有獨(dú)特優(yōu)勢(shì)。它有32至56個(gè)內(nèi)核，可提供最高112線程，內(nèi)置英特爾高級(jí)矩陣擴(kuò)展(AMX)的AI加速功能，可幫助諸如圖像識(shí)別、對(duì)象探測(cè)等任務(wù)中的張量處理獲得多倍效率提升，并可用于INT8、BF16等不同數(shù)據(jù)格式，性能高達(dá)上一代10倍。而且所有MAX處理器都內(nèi)置了64GB的HBM2e 高帶寬內(nèi)存，分為4個(gè)16GB的集群，總內(nèi)存帶寬為1 TB / s，能夠解決大模型工作負(fù)載經(jīng)常受到內(nèi)存帶寬限制的窘境，數(shù)倍提升推理性能。并且，其價(jià)格極具競(jìng)爭(zhēng)力。

　　寶德在基于此CPU和Intel Flex GPU的自研服務(wù)器PR2715E上開(kāi)發(fā)部署了LLM方案-聊德寶，它擁有調(diào)用私域數(shù)據(jù)的能力，讓AI應(yīng)用更加智能化、個(gè)性化地為用戶提供服務(wù)，目前已經(jīng)應(yīng)用于寶德服務(wù)器AI客服、金沙古酒AI客服、金沙古酒直播數(shù)字人等產(chǎn)品。聊德寶具有快速遷移、便捷部署、多路并發(fā)的顯著優(yōu)勢(shì);最重要的是，該方案價(jià)格同比其它常規(guī)方案最高節(jié)約超過(guò)50%!

　　更妙的是，近日寶德服務(wù)器全面升級(jí)到第五代英特爾?至強(qiáng)?平臺(tái)，第五代英特爾?至強(qiáng)?處理器除了具有更可靠的性能和更出色的能效外，它的AI性能大幅度提升，每個(gè)內(nèi)核都具備 AI 加速功能，無(wú)需添加獨(dú)立加速器，就可處理要求嚴(yán)苛的 AI 工作負(fù)載，包括對(duì)參數(shù)量多達(dá) 200 億的模型進(jìn)行推理和調(diào)優(yōu)。 因此寶德AIGC解決方案將進(jìn)一步測(cè)試適配升級(jí)到第五代英特爾?至強(qiáng)?平臺(tái)，為客戶部署AI應(yīng)用提供更具性價(jià)比的優(yōu)選方案。

　　大模型和AIGC正在日新月異地蓬勃發(fā)展，加速應(yīng)用場(chǎng)景落地和引領(lǐng)產(chǎn)業(yè)變革勢(shì)不可擋。寶德將繼續(xù)攜手英特爾，發(fā)揮AI優(yōu)勢(shì)，聯(lián)合創(chuàng)新研發(fā)和應(yīng)用，不斷迭代優(yōu)化生成式AI解決方案，為數(shù)據(jù)中心等客戶打造高效便利和更加普惠的AI基礎(chǔ)設(shè)施，加速釋放AI動(dòng)能，更好地服務(wù)中國(guó)數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展!