隨著社會(huì)數(shù)字化能力的快速升級(jí)，金融行業(yè)正逐漸邁向數(shù)字化轉(zhuǎn)型的新時(shí)代。尤其是AI的爆發(fā)，數(shù)據(jù)智能技術(shù)正在徹底改變著這個(gè)行業(yè)的面貌，隨著越來(lái)越多的金融機(jī)構(gòu)開(kāi)始將人工智能、機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析技術(shù)應(yīng)用到其業(yè)務(wù)中，金融數(shù)據(jù)的價(jià)值正在得到充分的發(fā)掘。

(資料圖片僅供參考)

毋庸置疑，在數(shù)字經(jīng)濟(jì)時(shí)代，數(shù)據(jù)上升為新的關(guān)鍵生產(chǎn)要素和資產(chǎn)，逐漸超越土地、資本等傳統(tǒng)要素，成為社會(huì)經(jīng)濟(jì)發(fā)展和企業(yè)創(chuàng)新更加重要的驅(qū)動(dòng)力。

對(duì)于金融行業(yè)而言，本身就有大量的數(shù)據(jù)，每一家金融機(jī)構(gòu)都希望成為一個(gè)數(shù)據(jù)驅(qū)動(dòng)的企業(yè)，但目前企業(yè)仍面臨著數(shù)據(jù)持有成本高、數(shù)據(jù)孤島嚴(yán)重、數(shù)據(jù)治理難度大等挑戰(zhàn)，這也導(dǎo)致如何充分釋放數(shù)據(jù)價(jià)值成了當(dāng)下的難題。

一方面，企業(yè)與組織逐漸擁有海量數(shù)據(jù)規(guī)模和豐富應(yīng)用場(chǎng)景，最新數(shù)據(jù)顯示，國(guó)內(nèi)股份制銀行每年的數(shù)據(jù)量增長(zhǎng)在30%，這些海量多源異構(gòu)數(shù)據(jù)的增長(zhǎng)，對(duì)于企業(yè)的存儲(chǔ)與管理帶來(lái)極大挑戰(zhàn) ；另一方面，數(shù)據(jù)價(jià)值釋放、使用也遇到現(xiàn)實(shí)困境，權(quán)威機(jī)構(gòu)統(tǒng)計(jì)表明，當(dāng)前全球僅僅只有2%的數(shù)據(jù)被真正分析過(guò)，而注入AI模型的數(shù)據(jù)連1%都達(dá)不到。且隨著數(shù)據(jù)越來(lái)越繁多，企業(yè)在彈性調(diào)度、實(shí)時(shí)調(diào)度數(shù)據(jù)上也將變得更加復(fù)雜。

如何破局？尤其是在AI爆發(fā)、大模型建設(shè)成為主流的大背景下，數(shù)字智能化轉(zhuǎn)型已經(jīng)全面提速，對(duì)于企業(yè)而言，建設(shè)數(shù)據(jù)驅(qū)動(dòng)型的現(xiàn)代化企業(yè)已是刻不容緩。為此，華為為金融業(yè)提供了答案：通過(guò)云-數(shù)-智-算全面融合架構(gòu)，化繁為簡(jiǎn)，助力金融人人用數(shù)，實(shí)現(xiàn)處處智能。

云數(shù)融合，數(shù)據(jù)挖掘的“金鏟子”

在數(shù)字化浪潮中，數(shù)據(jù)正在重塑企業(yè)的運(yùn)營(yíng)、管理、決策乃至創(chuàng)新，不過(guò)，企業(yè)當(dāng)前在數(shù)據(jù)價(jià)值實(shí)現(xiàn)中面臨的挑戰(zhàn)空前巨大，尤其是企業(yè)數(shù)據(jù)產(chǎn)生的速度、規(guī)模和類型，遠(yuǎn)超當(dāng)前設(shè)備的處理和計(jì)算能力，數(shù)據(jù)價(jià)值挖掘效率低下成了一大難題。

事實(shí)上，一直以來(lái)金融業(yè)內(nèi)對(duì)于數(shù)據(jù)處理都并非易事，就像鄂爾多斯盆地油氣田雖然資源豐富，但屬于典型的“三低”（低滲、低壓、低豐度）油氣藏，實(shí)現(xiàn)經(jīng)濟(jì)有效開(kāi)發(fā)屬于世界性難題。數(shù)據(jù)從產(chǎn)生到發(fā)揮要素價(jià)值的過(guò)程也同樣漫長(zhǎng)，包括數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理加工、數(shù)據(jù)流通、數(shù)據(jù)分析、數(shù)據(jù)應(yīng)用等，每一個(gè)過(guò)程都充滿大大小小的挑戰(zhàn)。

尤其是隨著多樣性計(jì)算的演進(jìn)，數(shù)據(jù)庫(kù)必須支持多種算力。過(guò)去以CPU為中心的架構(gòu)，現(xiàn)已發(fā)展到多樣性算力協(xié)同的對(duì)等計(jì)算架構(gòu)，CPU、GPU、NPU甚至包括為特定場(chǎng)景開(kāi)發(fā)的計(jì)算單元等都要形成協(xié)同關(guān)系，從而更好地去處理數(shù)據(jù)。

不僅如此，多模融合成為主流，多模數(shù)據(jù)需要協(xié)同處理以實(shí)現(xiàn)資源集約化管理。從過(guò)去主要處理的是結(jié)構(gòu)化數(shù)據(jù)，到現(xiàn)在處理非結(jié)構(gòu)化數(shù)據(jù)例如圖、時(shí)序、流、文檔等的數(shù)據(jù)類型，這對(duì)數(shù)據(jù)整合處理和整合分析提出了更高的要求。

早期企業(yè)數(shù)字化建設(shè)所依賴的基礎(chǔ)資源，多為以服務(wù)器硬件設(shè)備為中心，業(yè)務(wù)應(yīng)用隨不同廠商設(shè)備、操作系統(tǒng)、虛擬化軟件的差異化進(jìn)行定制設(shè)備的安裝、調(diào)試，應(yīng)用的部署運(yùn)維基本靠人力完成，自動(dòng)化程度低，缺乏統(tǒng)一的設(shè)備和應(yīng)用管理能力。雖然后期有虛擬化軟件的出現(xiàn)，資源的利用率和擴(kuò)縮容的靈活性方面得到一定提升，但從未從根本上解決基礎(chǔ)設(shè)施與軟件割裂、運(yùn)維復(fù)雜的問(wèn)題。

如今華為推出的云原生全面融合架構(gòu)，其中一點(diǎn)就是在傳統(tǒng)架構(gòu)上進(jìn)行了云數(shù)融合升級(jí)，將企業(yè)的關(guān)注點(diǎn)從以資源為中心轉(zhuǎn)移到以應(yīng)用為中心，包括應(yīng)用敏捷交付、快速、彈性、平滑遷移、無(wú)損容災(zāi)，可以更好地幫助企業(yè)實(shí)踐應(yīng)用的自動(dòng)化應(yīng)用。

舉個(gè)例子，假設(shè)某企業(yè)需要在一段時(shí)間內(nèi)處理大量的數(shù)據(jù)，但是處理量難以預(yù)測(cè)，需要根據(jù)實(shí)際情況來(lái)進(jìn)行資源調(diào)度。如果企業(yè)采用傳統(tǒng)的數(shù)據(jù)處理方法，需要購(gòu)買足夠的硬件設(shè)備才能滿足一段時(shí)間內(nèi)的處理需求，這會(huì)帶來(lái)很大的成本和資源浪費(fèi)。而云數(shù)融合后，企業(yè)可以將數(shù)據(jù)存儲(chǔ)在云端，利用云原生技術(shù)架構(gòu)實(shí)現(xiàn)彈性資源調(diào)度。當(dāng)需要處理數(shù)據(jù)時(shí)，系統(tǒng)會(huì)自動(dòng)分配足夠的資源來(lái)完成任務(wù)，處理完成后，系統(tǒng)會(huì)自動(dòng)釋放這些資源，從而降低成本，提高效率。

另外，隨著數(shù)據(jù)更新速度加快，當(dāng)下金融業(yè)很多業(yè)務(wù)對(duì)實(shí)時(shí)性的要求越來(lái)越高，而為了保障企業(yè)能夠?qū)?shí)時(shí)數(shù)據(jù)進(jìn)行快速計(jì)算，華為也在計(jì)算層、存儲(chǔ)層、緩沖層做了三層池化，加速了云計(jì)算數(shù)據(jù)中心建設(shè)的效率，利用虛擬化技術(shù)，將資源分享給不同用戶，資源的放置、管理與分配策略對(duì)用戶透明。讓用戶能夠靈活使用、調(diào)配想要用到的數(shù)據(jù)中心資源，并且讓基礎(chǔ)架構(gòu)的硬件設(shè)備盡可能發(fā)揮出最大利用率。

而擅長(zhǎng)數(shù)據(jù)處理的企業(yè)，數(shù)據(jù)價(jià)值躍升也更為明顯。以營(yíng)銷場(chǎng)景為例，傳統(tǒng)的用戶標(biāo)簽可能只有幾十維，但在完全挖掘數(shù)據(jù)價(jià)值后，數(shù)據(jù)范圍更廣，結(jié)合外部數(shù)據(jù)和AI預(yù)測(cè)引入，可以做到幾千維，實(shí)現(xiàn)百倍的增長(zhǎng)，這種情況下可以更好洞察理解客戶。

客觀來(lái)說(shuō)，金融業(yè)的數(shù)據(jù)復(fù)雜且更新迅速，一些數(shù)據(jù)的價(jià)值很難落地，而華為云數(shù)融合的目的，就是希望將更多數(shù)據(jù)挖掘并且簡(jiǎn)化處理步驟，讓所有的數(shù)據(jù)都可創(chuàng)造價(jià)值。當(dāng)然，隨著智能大模型的爆發(fā)，數(shù)據(jù)與智能的融合在數(shù)智化架構(gòu)中也變得極為重要。

數(shù)智融合，高效釋放數(shù)字價(jià)值

在金融行業(yè)早期數(shù)字化轉(zhuǎn)型的過(guò)程中，為解決某一業(yè)務(wù)問(wèn)題，往往按照單一業(yè)務(wù)邏輯部署信息系統(tǒng)，另外由于政策、業(yè)務(wù)的不斷變化，金融機(jī)構(gòu)不同業(yè)務(wù)系統(tǒng)建設(shè)存在時(shí)間差異，各不同業(yè)務(wù)條線往往根據(jù)自身需求獨(dú)立獲取數(shù)據(jù)、進(jìn)行數(shù)據(jù)加工，再進(jìn)行系統(tǒng)部署應(yīng)用，最終形成一個(gè)個(gè)獨(dú)立的“煙囪式”數(shù)據(jù)架構(gòu)，出現(xiàn)數(shù)據(jù)孤島、數(shù)據(jù)與AI架構(gòu)不互通、業(yè)務(wù)流程難以穿透等各種問(wèn)題。

一家銀行可能有幾百套信息和數(shù)據(jù)系統(tǒng)，各種架構(gòu)、軟件標(biāo)準(zhǔn)五花八門，數(shù)據(jù)融通和業(yè)務(wù)流程困難極大。分散的數(shù)據(jù)源、海量的數(shù)據(jù)規(guī)模、異構(gòu)的數(shù)據(jù)屬性都是金融機(jī)構(gòu)數(shù)據(jù)治理的難題，也導(dǎo)致數(shù)據(jù)在處理后無(wú)法直接利用AI訓(xùn)練。就像是即便擁有全世界最頂級(jí)的數(shù)據(jù)處理師，但無(wú)法給到他們數(shù)據(jù)進(jìn)行處理，那么就顯得毫無(wú)價(jià)值。

傳統(tǒng)的做法是將處理好的數(shù)據(jù)搬遷到AI架構(gòu)進(jìn)行訓(xùn)練，但一組數(shù)據(jù)是，普通銀行在做增量數(shù)據(jù)搬遷時(shí)，大概需要6-8個(gè)小時(shí)，而做全量數(shù)據(jù)遷移的時(shí)間，往往達(dá)到了4-7天，這就導(dǎo)致企業(yè)構(gòu)建、保護(hù)和管理數(shù)據(jù)的過(guò)程復(fù)雜且耗時(shí)，并且需要大量開(kāi)發(fā)和維護(hù)成本。

所以區(qū)別于這種被動(dòng)局面，華為數(shù)智融合就是打通了數(shù)據(jù)治理生產(chǎn)線和AI開(kāi)放生產(chǎn)線之間的互通，基于DataArts、lakeformation，把數(shù)倉(cāng)、數(shù)據(jù)湖、AI數(shù)據(jù)的目錄、數(shù)據(jù)權(quán)限、事務(wù)一致性、多版本管理等能力都融合到一個(gè)中心點(diǎn)，構(gòu)建了滿足各種引擎需求的數(shù)據(jù)湖統(tǒng)一元數(shù)據(jù)服務(wù)視圖，支持一份數(shù)據(jù)在數(shù)據(jù)湖、數(shù)據(jù)倉(cāng)庫(kù)、AI、開(kāi)源系統(tǒng)等多個(gè)引擎間自由共享，實(shí)現(xiàn)了引擎元數(shù)據(jù)互通，達(dá)到了數(shù)據(jù)與AI共存的效果。

但統(tǒng)一元數(shù)據(jù)本質(zhì)是將數(shù)據(jù)與計(jì)算做了分離，這就導(dǎo)致數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)湖、AI引擎不互通，大規(guī)模分布式集群節(jié)點(diǎn)與節(jié)點(diǎn)之間的數(shù)據(jù)交換時(shí)間間隔可能會(huì)變長(zhǎng)，且需要滿足實(shí)時(shí)性要求，所以降低鏈路延時(shí)，提高計(jì)算效率尤為重要。而華為推出的分布式硬件設(shè)備擎天加速卡，能夠?qū)崿F(xiàn)的就是使數(shù)據(jù)與數(shù)據(jù)之間直接交換，不需要再上升到交換機(jī)層面，將路徑大大縮短，使數(shù)據(jù)與集群之間的交換效率大大提升。

事實(shí)上，單看數(shù)據(jù)與計(jì)算分離這種架構(gòu)是十分理想化的，但在實(shí)際運(yùn)用過(guò)程中還是存在很多工程化問(wèn)題需要解決，而華為要做的不僅是將理想架構(gòu)落地，還會(huì)通過(guò)擎天加速卡、AI數(shù)據(jù)治理產(chǎn)線等ICT根技術(shù)來(lái)支持企業(yè)解決落地過(guò)程中的諸多問(wèn)題。所以華為在做的其實(shí)就是化繁為簡(jiǎn)，將復(fù)雜的事留給自己，為企業(yè)、客戶提供更簡(jiǎn)單、實(shí)用的融合架構(gòu)。

數(shù)算融合，軟硬協(xié)同更兼容

事實(shí)上，云數(shù)融合和數(shù)智融合本質(zhì)上是基于軟件層面的優(yōu)化，但數(shù)智化轉(zhuǎn)型是一個(gè)系統(tǒng)性工程，軟件和底層硬件的融合至關(guān)重要，這也是華為獨(dú)特的優(yōu)勢(shì)。

比如當(dāng)企業(yè)云數(shù)智融合達(dá)到了一定水準(zhǔn)，很難在軟件層面實(shí)現(xiàn)突破時(shí)，還想要再進(jìn)一步提升效率，那么在硬件上下功夫便是最優(yōu)解。最常見(jiàn)的像銀行的日終跑批、數(shù)據(jù)分析、監(jiān)管報(bào)送等這些針對(duì)數(shù)據(jù)展開(kāi)的業(yè)務(wù)，對(duì)時(shí)效性均有較高要求。

正常情況下日終跑批是從晚上十點(diǎn)左右開(kāi)始跑起，一些數(shù)據(jù)量大的銀行可能會(huì)跑到第二天早上9點(diǎn)或者10點(diǎn)左右，這就會(huì)造成前一天數(shù)據(jù)還未跑完，第二天的新數(shù)據(jù)便產(chǎn)生了，影響了正常工作。

還有業(yè)務(wù)員在做數(shù)據(jù)分析時(shí)，有些數(shù)據(jù)需要自己提取，但在使用自助分析工具時(shí)，會(huì)有一個(gè)響應(yīng)時(shí)間，對(duì)于一些復(fù)雜的命令，運(yùn)行起來(lái)可能需要30秒甚至更長(zhǎng)時(shí)間，對(duì)整體效率可能會(huì)產(chǎn)生一定影響。

RWA場(chǎng)景、監(jiān)管報(bào)送等復(fù)雜場(chǎng)景對(duì)數(shù)據(jù)計(jì)算的效率、算法有更高要求。例如銀行在做監(jiān)管報(bào)送時(shí)，會(huì)同時(shí)開(kāi)放給不同分支去批量處理、批量增倉(cāng)改查，這種既要保證跑批又要平衡數(shù)據(jù)變動(dòng)的復(fù)雜混合負(fù)載要求，顯然對(duì)后臺(tái)提出了極高要求。

所以在當(dāng)前基礎(chǔ)上，如何進(jìn)一步縮短數(shù)據(jù)處理時(shí)長(zhǎng)是業(yè)內(nèi)所需解決的問(wèn)題。華為給出的方案是通過(guò)鯤鵬計(jì)算底座+RoCE無(wú)損網(wǎng)絡(luò)+數(shù)據(jù)湖倉(cāng)之間的協(xié)同，并且通過(guò)資源池隔離、優(yōu)化算法等方式去提升復(fù)雜場(chǎng)景下的性能。

另外，對(duì)于架構(gòu)本身來(lái)說(shuō)，雖然華為是做了開(kāi)放處理，湖倉(cāng)可以適配不同底座，底座也可適配不同廠商的湖倉(cāng)，但基于華為自身的ICT能力，軟硬件的協(xié)同、融合也能夠達(dá)到一加一大于二的效果。

智算融合，大模型部署不費(fèi)力

不能否認(rèn)，大模型的爆發(fā)，將金融業(yè)帶入到了一個(gè)全新時(shí)代，但同時(shí)也給行業(yè)帶來(lái)了一些難題。尤其是大模型的部署，會(huì)有一系列復(fù)雜的工程化問(wèn)題，比如數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、數(shù)據(jù)清洗、模型的再訓(xùn)練、推理等等，所以企業(yè)需要一個(gè)端到端的解決方案來(lái)實(shí)現(xiàn)高效落地。

而華為也是目前為數(shù)不多能夠?qū)崿F(xiàn)全棧AI能力的企業(yè)，覆蓋昇騰芯片、算子CANN、算法框架MindSpore、盤古大模型、開(kāi)發(fā)者平臺(tái)ModelArts等等，通過(guò)華為AI能力和上層應(yīng)用生態(tài)，構(gòu)筑全棧全場(chǎng)景的AI解決方案。

另外對(duì)于大模型來(lái)講，能夠看到一個(gè)非常顯著的區(qū)別，便是訓(xùn)練的數(shù)據(jù)量劇增，例如ChatGPT3和3.5的訓(xùn)練量都為百億，而GPT-4則達(dá)到了千億級(jí)別。數(shù)據(jù)級(jí)別從TB級(jí)到PB級(jí)甚至未來(lái)還有可能達(dá)到ZB級(jí)。而數(shù)據(jù)量的爆發(fā)也會(huì)在計(jì)算、存儲(chǔ)、通信三個(gè)層面產(chǎn)生新的問(wèn)題。

首先計(jì)算層面，目前單卡算力能力5年僅能增加47倍，而算力需求5年增加了百萬(wàn)倍，顯然單機(jī)已無(wú)法滿足日益增多的算力需求，業(yè)內(nèi)較為統(tǒng)一的做法是將基礎(chǔ)設(shè)施分布式集群化。但集群化就會(huì)對(duì)散熱提出更高要求，傳統(tǒng)風(fēng)力方式幾乎很難完成散熱重任，會(huì)導(dǎo)致出現(xiàn)不穩(wěn)定，出現(xiàn)中斷情況，相較之下液冷散熱效率更高，正逐漸成為集群散熱必選。

當(dāng)然，在保證穩(wěn)定性的前提下，如何去提升超大集群算力利用效率以及大模型算法分布式開(kāi)發(fā)效率，這就需要算力架構(gòu)的優(yōu)化和算法框架的優(yōu)化。

存儲(chǔ)層面，因?yàn)橛?xùn)練數(shù)據(jù)有一個(gè)巨量提升，如果還按照傳統(tǒng)的HDD存儲(chǔ)方式，那么其效率也會(huì)大大降低，全量數(shù)據(jù)載入可能會(huì)需要數(shù)天時(shí)間，所以全閃存等高性能存儲(chǔ)方式將是未來(lái)主流的解決方案。

通信層面，集群化下通信系統(tǒng)其實(shí)決定了其性能瓶頸，傳統(tǒng)100G的交換網(wǎng)絡(luò)在訓(xùn)練時(shí)可能會(huì)有較高延時(shí)，所以就需要升級(jí)到200G或者400G的RoCE網(wǎng)絡(luò)，以幫助數(shù)據(jù)中心網(wǎng)絡(luò)實(shí)現(xiàn)大寬帶、低時(shí)延、高效率的訓(xùn)練。

華為云數(shù)智算全面融合架構(gòu)，解決的就是AI集群系統(tǒng)面臨的工程化難題，化繁為簡(jiǎn)，為企業(yè)數(shù)智化架構(gòu)升級(jí)提供了可以落地的優(yōu)質(zhì)的解決方案。

產(chǎn)業(yè)數(shù)字化浪潮的推進(jìn)，必然為金融業(yè)帶來(lái)新的數(shù)智化挑戰(zhàn)，金融行業(yè)數(shù)字化轉(zhuǎn)型迫在眉睫。而將云、數(shù)、智、算進(jìn)行有效融合的“數(shù)智融合”解決方案，是破題的關(guān)鍵，可讓AI和數(shù)據(jù)釋放更多價(jià)值。在這個(gè)過(guò)程中，華為也將持續(xù)賦能行業(yè)實(shí)現(xiàn)高效的數(shù)據(jù)挖掘、治理和運(yùn)用，為更多企業(yè)進(jìn)行數(shù)字化和智能化升級(jí)構(gòu)筑起堅(jiān)實(shí)的創(chuàng)新基石，推動(dòng)金融數(shù)字化轉(zhuǎn)型邁向全新階段。

關(guān)鍵詞：