過(guò)去幾年,隨著算法應(yīng)用的不斷深入,從過(guò)去的文本客服,升級(jí)為語(yǔ)音客服,再到多模態(tài)人機(jī)交互系統(tǒng)的發(fā)展周期,人機(jī)交互模式正持續(xù)進(jìn)化,越來(lái)越多的數(shù)智人在各行各業(yè)不同場(chǎng)景成功“入職”,開(kāi)始在眾多行業(yè)中商業(yè)化落地,輔助人工服務(wù),為實(shí)體場(chǎng)景服務(wù)帶來(lái)的切實(shí)改變。
長(zhǎng)江計(jì)算以智慧算力底座,支撐多模態(tài)“紫東·太初”大模型復(fù)用南宋御街?jǐn)?shù)字人“杭小憶”訓(xùn)練成果,結(jié)合文旅場(chǎng)景數(shù)據(jù),進(jìn)行大模型文本生成、視覺(jué)問(wèn)答、多模態(tài)檢索下游任務(wù)的訓(xùn)練、微調(diào)和部署,實(shí)現(xiàn)景點(diǎn)導(dǎo)游、商店咨詢(xún)導(dǎo)購(gòu)、酒店咨詢(xún)客服等場(chǎng)景的智能化。
通過(guò)在后端部署長(zhǎng)江計(jì)算G420X V5訓(xùn)練型服務(wù)器,基于昇騰910+Inter Cascade Lake處理器,組成異構(gòu)計(jì)算架構(gòu),可提供2.24 PFLOPS FP16的超強(qiáng)算力,能有效支撐“紫東·太初”預(yù)訓(xùn)練模型,并基于杭州現(xiàn)有文旅數(shù)據(jù)進(jìn)行多機(jī)多卡分布式訓(xùn)練,得到特定功能的模型并進(jìn)行調(diào)優(yōu)。同時(shí)根據(jù)終端的交互需求,進(jìn)行實(shí)時(shí)推理,智能驅(qū)動(dòng)數(shù)智人做出相應(yīng)的反饋。
通過(guò)將“紫東·太初”大模型針對(duì)“南宋御街”場(chǎng)景在行業(yè)智慧賦能平臺(tái)上進(jìn)行本地化增量訓(xùn)練,使該數(shù)智人具備圖文音的應(yīng)用能力,在活字印刷、特色小吃、南宋官窯、絲綢制作等場(chǎng)景實(shí)現(xiàn)中文問(wèn)答、詩(shī)文生成、以文搜圖等功能,為沉浸式VR體驗(yàn)的數(shù)字孿生世界,帶來(lái)交互式智能體驗(yàn),打造了中國(guó)氣派、浙江辨識(shí)度的文化標(biāo)識(shí),也是結(jié)合杭州特色在文旅行業(yè)的又一重要技術(shù)創(chuàng)新實(shí)踐。
杭州文旅數(shù)智人項(xiàng)目的落地應(yīng)用,對(duì)城市的形象是一次有力地提升。長(zhǎng)江計(jì)算加速文旅數(shù)智人應(yīng)用落地,站在產(chǎn)業(yè)發(fā)展的角度來(lái)看,不僅對(duì)城市數(shù)智人商業(yè)模式進(jìn)行了有效的探索,同時(shí)將推動(dòng)數(shù)智人產(chǎn)業(yè)向更智能、更大眾化、更低成本方向發(fā)展。