2023-06-25 13:53:59來源:天翼智庫
(CWW)算力、算法和數(shù)據(jù)是人工智能的“三駕馬車”。過去的十多年,算力、算法、數(shù)據(jù)等技術的創(chuàng)新和迭代,都取得了“大爆炸”式發(fā)展。ChatGPT橫空出世背后,有海量訓練數(shù)據(jù)、人工標注指令微調(diào)以及基于人工反饋的強化學習。未來,人工智能在垂直場景落地,需要大量經(jīng)過標注處理的數(shù)據(jù)完成算法訓練?,F(xiàn)階段,數(shù)據(jù)標注屬于勞動密集型產(chǎn)業(yè),人工智能尤其是大模型的崛起,將數(shù)據(jù)標注推向AI輔助標注、自動標注,數(shù)據(jù)標注進入技能密集時代。
我國數(shù)據(jù)標注行業(yè)現(xiàn)狀及特點
數(shù)據(jù)標注是指借助特定軟件標注工具,將圖片、語音、文本、視頻等數(shù)據(jù)內(nèi)容進行分類、標準特征標簽等(例如圖片屬于“貓”、“狗”、“鳥”等分類),使其易于被機器學習算法可理解和快速處理。近年來,隨著人工智能的快速發(fā)展,數(shù)據(jù)標注需求激增,我國數(shù)據(jù)標注市場呈現(xiàn)如下特點。
(資料圖片)
一是在需求和政策共推下高速發(fā)展。2022年我國數(shù)據(jù)產(chǎn)量已達8.1ZB,同比增長22.7%,全球占比10.5%,位居世界第二,數(shù)據(jù)已成為我國重要的資源稟賦優(yōu)勢。與此同時,我國數(shù)據(jù)要素市場化配置進程加速,政策加持國內(nèi) AI 產(chǎn)業(yè)發(fā)展,市場對高質(zhì)量數(shù)據(jù)標注需求激增。根據(jù)艾瑞咨詢、華經(jīng)產(chǎn)業(yè)研究院數(shù)據(jù),2021年我國數(shù)據(jù)標注市場規(guī)模為43至44億元,2025年有望突破百億元。此外,數(shù)據(jù)標注是勞動力資源密集省市政府解決就業(yè)難的抓手,多個省市紛紛出臺政策支持數(shù)據(jù)標注產(chǎn)業(yè)發(fā)展或建立數(shù)據(jù)標注產(chǎn)業(yè)園,如山西省出臺了《山西省數(shù)據(jù)標注產(chǎn)業(yè)發(fā)展規(guī)劃(2019-2025 年)》、《山西省加快數(shù)據(jù)標注產(chǎn)業(yè)發(fā)展的實施意見》、《山西人工智能基礎數(shù)據(jù)產(chǎn)業(yè)專項資金管理辦法》等,山西、河南、四川、貴州等省已形成了眾多數(shù)據(jù)標注小鎮(zhèn),全國范圍來看,集數(shù)據(jù)采集、存儲、標注、服務等于一體的AI基礎數(shù)據(jù)相關產(chǎn)業(yè)持續(xù)壯大,進入高速發(fā)展期。
二是AI頭部企業(yè)紛紛入局并贏得競爭優(yōu)勢。數(shù)據(jù)標注市場有兩類參與者,一類是專業(yè)的第三方數(shù)據(jù)標注公司,如Testin云測、澳鵬appen、海天瑞聲、數(shù)據(jù)堂、龍貓數(shù)據(jù)、曼孚科技等;一類是AI科技公司內(nèi)部的標注部門。兩類數(shù)據(jù)標注力量都在壯大,第二類發(fā)展更快,越來越多的AI頭部企業(yè)自建標注工具平臺和標注基地,如百度在山西建立人工智能基礎數(shù)據(jù)產(chǎn)業(yè)基地、推出數(shù)據(jù)標注開放平臺,京東在山東設立京東眾智大數(shù)據(jù)標注助殘基地、推出 Wise 開放標注平臺,字節(jié)跳動在全國設立了六個標注基地。這些AI頭部企業(yè)資本雄厚、數(shù)據(jù)需求旺盛、技術實力強,后發(fā)優(yōu)勢顯著,百度、京東已進入數(shù)據(jù)標注市場第一陣營。
三是市場需求以定制化服務為主。相關數(shù)據(jù)顯示,2021年我國數(shù)據(jù)標注及審核市場中定制化服務占比85.41%,而標準化的數(shù)據(jù)集產(chǎn)品僅占13.33%。這與AI在垂直場景深度落地需要與特定任務類型、特定應用場景相匹配的數(shù)據(jù)進行算法訓練。大模型時代下,“基礎模型+微調(diào)”有望成為 AI 開發(fā)新范式,微調(diào)是讓AI獲特定領域知識,并賦予其組織、應用知識的能力,可以預見,貼合垂直場景的高精準定制化數(shù)據(jù)標注服務在未來將是市場需求主流。
數(shù)據(jù)標注行業(yè)面臨的問題與挑戰(zhàn)
早期,市場對數(shù)據(jù)采集標注的要求較低,準入門檻低,行業(yè)內(nèi)云集了大量中小規(guī)模的服務商和靈活就業(yè)/兼職個人,數(shù)據(jù)標注領頭企業(yè)主要采用轉(zhuǎn)包、眾包模式提供服務,行業(yè)存在標注效率低下、數(shù)據(jù)質(zhì)量參差不齊、高技能人才不足、全程數(shù)據(jù)安全合規(guī)風險高等問題。
一是標注效率低下、數(shù)據(jù)質(zhì)量參差不齊。當前數(shù)據(jù)標注高度依賴人力,十分枯燥、耗費眼力體力,很多中小供應商缺少AI輔助標注、AI質(zhì)檢能力,標注師個人能力素質(zhì)直接影響標注效率和數(shù)據(jù)質(zhì)量,形成行業(yè)生產(chǎn)效率低下、數(shù)據(jù)質(zhì)量不均衡的局面。
二是高技能產(chǎn)業(yè)人才缺乏。從任務需求來看,以較為復雜的語音標注、計算機視覺標注為主,醫(yī)療醫(yī)藥、法律、金融、電力等專業(yè)數(shù)據(jù)集標注生產(chǎn),還對標注師的學科知識儲備有一定要求。從人才培養(yǎng)來說,人工智能訓練師新型崗位培養(yǎng)、專業(yè)設立并沒有受到社會重視,市場上缺乏經(jīng)過系統(tǒng)性訓練的高技能人才。
三是全程數(shù)據(jù)安全合規(guī)風險高。根據(jù)中國信通院報告,80%的安全風險發(fā)生在數(shù)據(jù)流通環(huán)節(jié)。從行業(yè)現(xiàn)狀來看,數(shù)據(jù)標注的鏈條較長,包括采集、標注、存儲、傳輸?shù)拳h(huán)節(jié),轉(zhuǎn)包模式下信息鏈條更長,黃賭毒/暴力信息過濾、隱私保護、數(shù)據(jù)不當使用等都是標注和審核企業(yè)面臨的難題。
數(shù)據(jù)標注行業(yè)存在的變化及趨勢
隨著人工智能技術在更多垂直應用場景落地深化,數(shù)據(jù)標注表現(xiàn)出以下幾個趨勢:
一是AI輔助標注、自動化數(shù)據(jù)標注成為新競爭力,助推行業(yè)從勞動密集轉(zhuǎn)向技術密集。從全球范圍來看,美國由于人力成本較高,較早使用機器替代人力,谷歌、微軟等互聯(lián)網(wǎng)巨頭都推出了自動標注系統(tǒng),Playment和Scale AI合作,為全球高分辨率 LiDAR傳感器制造商 Data 聯(lián)合開發(fā)了高級深度學習標注工具。在中國,用工管理日趨規(guī)范以及標注需求量的激增,純?nèi)斯俗⒃谛屎统杀旧系膬?yōu)勢將很快消失,使用AI賦能的自動標注能力與相關工具來提升效率和質(zhì)量,將逐漸成為數(shù)據(jù)標注企業(yè)提高市場競爭力、降本增效的利器。AI輔助標注、自動標注不僅提升了數(shù)據(jù)的產(chǎn)出效率,同時也在標注模型工具的迭代中打造出了完善的 AI 基礎設施,從而助推行業(yè)向技術密集轉(zhuǎn)型。
二是行業(yè)走向垂直化、定制化,門檻提高,市場集中度提升。隨著人工智能進入多元行業(yè)和場景落地階段,自動駕駛、醫(yī)療醫(yī)藥、小語種、法律、金融等有一定專業(yè)性要求的垂直場景將成為主要需求,帶動行業(yè)進一步朝著垂直化、定制化發(fā)展,專業(yè)性要求越來越高,市場準入門檻將顯著提高。同時,頭部的品牌數(shù)據(jù)服務商由于具備較強算法能力和穩(wěn)定訓練數(shù)據(jù)資源,有實力打造AI輔助標注、自動化標注平臺工具,標注效率、質(zhì)量和成本優(yōu)勢將凸顯。未來,品牌數(shù)據(jù)服務商和需求方自建的標注團隊將逐步替代中小供應商,行業(yè)市場集中度將顯著提升。如,2019年中小數(shù)據(jù)供應商的市場份額高達 47%,百度市場份額為11%,2022年百度的市場份額躍居到18%。
三是追求更高的數(shù)據(jù)質(zhì)量、安全性和隱私性。大部分算法在擁有足夠多普通標注數(shù)據(jù)的情況下,能夠?qū)蚀_率提升到 95%,但再提升到 99%甚至 99.9%,則需要高質(zhì)量數(shù)據(jù)。另一方面,海量原始數(shù)據(jù)的采集標注,涉及大量敏感數(shù)據(jù),如人臉、語音等內(nèi)容,隨著數(shù)據(jù)安全合規(guī)法律政策體系的完善和監(jiān)管升級,對數(shù)據(jù)的采集、標注、存儲、傳輸?shù)拿恳粋€環(huán)節(jié)的安全合規(guī)要求越來越高。因此,圍繞標注質(zhì)量和全流程數(shù)據(jù)安全合規(guī),建立一套完善的流程機制,并有技術工具保駕護航,就成為當下諸多數(shù)據(jù)標注服務商著重建設發(fā)展的能力。
電信運營商的探索和機遇
電信運營商在數(shù)據(jù)資源的內(nèi)部場景化應用、外部產(chǎn)品化流通方面,主要使用結(jié)構化數(shù)據(jù),非結(jié)構化數(shù)據(jù)采集標注僅在客戶服務場景中的熱線話務、投訴及故障工單的智能打標,以及裝維流程中的現(xiàn)場作業(yè)規(guī)范管理等少數(shù)場景應用;外部產(chǎn)品化應用主要是視聯(lián)網(wǎng)產(chǎn)品的AI視頻分析識別,如明廚亮灶中對進入廚房區(qū)域的廚師服/帽、口罩的穿戴著裝,抽煙、玩手機、老鼠檢測、外來人員識別等實時告警等。整體來說,電信運營商的語音標注、計算機視覺標注處于探索期,尚未像百度、京東一樣形成專業(yè)化標注生產(chǎn)能力,但值得肯定的是,在為數(shù)不多的探索中運營商選擇了AI輔助標注、自動化標注路徑。當下,AI大模型炙手可熱,催化數(shù)據(jù)采標需求加速釋放,電信運營商可審視如下機遇點。
一是面向垂直行業(yè)的AI輔助標注、自動化標注工具及解決方案。一方面是我國尚未形成AI輔助標注、自動化標注的領先產(chǎn)品,另一方面是對數(shù)據(jù)安全要求嚴格或期望降低數(shù)據(jù)生產(chǎn)成本的企業(yè),紛紛從選擇專業(yè)標注公司駐場服務到自購通用標注工具、模型訓練工具進行適配優(yōu)化,自行完成數(shù)據(jù)標注,這給專注于某個垂直領域的基礎數(shù)據(jù)服務商帶來了機會:針對細分領域提供自動化標注工具或解決方案。
二是面向數(shù)據(jù)采集標注全流程的數(shù)據(jù)安全合規(guī)基礎設施。AI基礎數(shù)據(jù)生產(chǎn)涉及到采集、存儲、標注、傳輸?shù)拳h(huán)節(jié),市場需要低成本的覆蓋全流程的數(shù)據(jù)可信生產(chǎn)流通環(huán)境,運營商在云網(wǎng)數(shù)字基礎設施中增加諸如區(qū)塊鏈、前沿密碼等技術,將產(chǎn)生新的優(yōu)勢。
三是垂直行業(yè)的專業(yè)數(shù)據(jù)集生產(chǎn)。運營商長期深耕金融、政法、公安、醫(yī)療、交通、教育等行業(yè)解決方案,在眾多垂直領域形成了產(chǎn)業(yè)生態(tài),具有將企業(yè)數(shù)據(jù)與垂直領域的跨組織、跨區(qū)域數(shù)據(jù)資源融合匯聚,提供專業(yè)數(shù)據(jù)集的潛能。
關鍵詞:
責任編輯:編者按:黨的二十大報告提出,堅持把發(fā)展經(jīng)濟的著力點放在實體經(jīng)濟上。
6月14日,在2023工業(yè)互聯(lián)網(wǎng)大會期間的工業(yè)互聯(lián)網(wǎng)“百城千園行”高端論
遙探索只有5點:萬佛平臺的角落里;鴻音傳送的平臺邊上;殘垣自動尋路
6月20日,“暢游美麗朔州·品味塞上綠都”朔州市2023文旅消費季啟動儀
記者昨日從人民銀行南通市中心支行獲悉,全市銀行金融機構共發(fā)放專項紓
海博思創(chuàng)科創(chuàng)板IPO申請日前已獲上交所受理。本次擬募集資金7 83億元,
新民晚報訊(記者金旻矣)端午小長假,申城恰逢強降水。上海綠化市容行
隨著《暗黑破壞神4》的熱賣,各種有趣周邊紛紛出爐,日前暴雪宣布與著
市市場監(jiān)管局開展液化石油氣瓶隱患排查整治行動工作人員在現(xiàn)場檢查
地標性莊園式住宅上市的情況并不常見,尤其是在高勒。這座位于3DundasS
雷達財經(jīng)雷助吧出品文|林宜采編|深海6月21日,棕櫚股份股價下跌2 86%,
編者按:黨的二十大報告提出,堅持把發(fā)展經(jīng)濟的著力點放在實體經(jīng)濟上。
深圳新聞網(wǎng)2023年6月25日訊(深圳晚報記者鄭志鵬)近日,2023年深圳象
總是聽到很多股民朋友說在股市很迷惑,都說股市很復雜不知從何入手,大
星辰新能獲海松資本近億元Pre-A輪投資萬億儲能賽道“黑馬”脫穎而出北
6月14日,在2023工業(yè)互聯(lián)網(wǎng)大會期間的工業(yè)互聯(lián)網(wǎng)“百城千園行”高端論
尼泊爾當?shù)貢r間6月24日7時41分,喜馬拉雅航空H9665航班從尼泊爾首都加
湖南地區(qū)1 銻錠報價區(qū)間在81000-82000元 噸,均價81500元 噸,較前一交
端午假期,海口國際免稅城內(nèi),伴隨著悠揚的音樂,陽光傾瀉“天際秘林”
海報新聞記者叢萍陳俞印濟南報道在超聲波的引導下,醫(yī)生將一枚細針刺進
根據(jù)《安徽信息工程學院2023年招生章程》,2023級新生學費和住宿費標準
視頻剪輯姚赟6月24日,河北邢臺一輛轎車撞上綠化帶后冒煙,一男子拿磚
遙探索只有5點:萬佛平臺的角落里;鴻音傳送的平臺邊上;殘垣自動尋路
觀點網(wǎng)訊:6月25日消息,深圳市公安局近日公布《2023年度居住社保積分
理想率先邁入補能“5G時代”,碳化硅的春天來了?, 800V,5C,9分3
“現(xiàn)在小區(qū)里多了好多電動自行車充電樁,操作簡單,充電速度快,安全性
民生證券06月25日發(fā)布研報稱,給予祥鑫科技(002965 SZ,最新價:51 31
央行今日進行1960億元7天期逆回購操作
6月24日,記者從四川省文化和旅游廳了解到,端午假期,四川全省納入統(tǒng)
央廣網(wǎng)永州6月24日消息(記者唐麗麗 通訊員鄭明輝)一年可以出籠多少
2023-06-25 05:35:27 作者:趙悟省近日,一款PlayStation 5游戲
2018年9月27日,聯(lián)合國將最高級別的環(huán)保榮譽“地球衛(wèi)士獎”授予了中國
體壇加,體壇+,托克羅,梅西,阿根廷隊,巴黎圣日耳曼,梅西:紀錄對我不再
合同只簽了名字沒摁手印有效,當事人會書寫自己的名字,簽字即可,若有
無緣亞運,27歲王藝迪前往日本打球?19時官宣,大迪做最好選擇,國乒,日
原標題:發(fā)揮財政資金杠桿放大作用帶動社會資本投資大連設立首期100億
還有很多霍格沃茨小伙伴不知道霍格沃茨之遺游戲時長詳情,現(xiàn)在由第一資
CFA(CharteredFinancialAnalyst)是全球金融業(yè)著名的職業(yè)資格之一,其
6月20日,“暢游美麗朔州·品味塞上綠都”朔州市2023文旅消費季啟動儀
擊鼓啟動賽事湖南日報·新湖南客戶端6月25日訊(記者張福芳)鄉(xiāng)村振興
關于他人涉嫌假冒中國廣核集團名義行騙的嚴正聲明近期,中國廣核集團(
(責編:王仁宏、呂騫) tjewm{width:100%;text-align:center;margin:
近日,重慶創(chuàng)新經(jīng)濟走廊開發(fā)建設有限公司與新能源汽車電驅(qū)動企業(yè)——大
這些“林”,不是以前“退耕還林”中為保護生態(tài)造的“林”,而是近年來
6月15日晚,在工體舉辦的一場足球比賽中,一位球迷從看臺跳下沖入球場
6月30日將是去年個人所得稅匯算清繳截止日,由于可能涉及退稅或補稅,
一念逍遙是一款非常好玩的修仙游戲,官方會給玩家提供非常多的福利,例
6月21日,南召縣人民法院組織開展了“多彩端午,縱享歡樂,手工花藝送
據(jù)悉,近日輝瑞在給美國食品藥品管理局(FDA)的一份信件中表示,公司
夏至已至。去年夏天的熱浪還讓很多人記憶猶新,那是我國自1961年以來的
又是一年端午節(jié)。為進一步弘揚民族精神,傳承中華民族優(yōu)良傳統(tǒng),永川區(qū)
6月21日,貴陽經(jīng)濟技術開發(fā)區(qū)召開特種設備安全宣傳周啟動儀式暨特種設
算力、算法和數(shù)據(jù)是人工智能的“三駕馬車”。過去的十多年,算力、算法
win10如何關閉家庭組建(win10如何關閉家庭組建功能)提到游戲掌機,估計
嘉實基金方晗管理的嘉實策略視野三年持有將于2024-12-28開放申贖。業(yè)績
中國科學技術大學陳仙輝院士團隊的應劍俊特任研究員等人與南京大學孫建
事業(yè)因人才而興,人才因事業(yè)而聚。高校畢業(yè)生作為寶貴的人才資源,關系
炎炎夏日,火箭軍某部訓練場戰(zhàn)車轟鳴,一場綜合演練如火如荼進行。“前
直播吧6月25日訊?據(jù)名記Shams報道,魔術最佳新秀保羅-班凱羅(有意大
985、211大學是公認的我國實力非常強的院校,每年想要報考985、211
交易商品牌 產(chǎn)地交貨地最新報價粉末醋酸鈉 含量53-57%,COD40萬河南帆
旅游市場消費潛力持續(xù)釋放
文 羊城晚報全媒體記者陳詩潔您的瀏覽器不支持audio標簽。今天(6月25
詩畫同觀相得益彰——品讀齊白石的畫意詩心眾所周知,齊白石以書畫藝術
今天給各位分享什么叫圓的周長什么叫圓的周長的知識,其中也會對什么叫
省衛(wèi)生健康委主任、黨組書記陳小春出席會議并講話,副主任、黨組成員龍
東莞創(chuàng)業(yè)帶動就業(yè)補貼標準一、補貼標準招用3人以下的按每人2000元給予
光遇游戲有不同的日常任務,完成即可領取獎勵,很多小伙伴都很關心,今
外交部美大司司長楊濤19日晚上就美國國務卿布林肯訪華向中外媒體吹風時
航拍柯拉一期光伏電站場一角。劉忠俊攝中新網(wǎng)甘孜6月25日電(記者劉忠俊
今日,青島地鐵發(fā)布運行公告:因施工需要,自2023年6月26日0:00起,3號
孝心卡月費?作為副卡辦理的孝心卡:一次性扣費19元。獨立辦理的孝心卡
甘肅蘭州石化公司一裝置發(fā)生閃爆,暫未有人員傷亡報告,水罐,甘肅蘭州石
端午安康,嘗嘗我們的手工粽。”6月21日,湖南省高速公路集團有限公司
新華社莫斯科6月24日電 綜合新華社駐外記者報道:俄羅斯總統(tǒng)新聞秘
每年高招季,軍校都吸引著莘莘學子的目光。今年,全軍共有30多所院校面
今年是第三次全國土壤普查全面開啟之年。記者近日從四川省第三次全國土
和普通人一樣,明星們面對鏡頭時,也有一個長久困擾他們的問題:一上鏡
央視網(wǎng)消息:大型原創(chuàng)青少年節(jié)目《我中國少年》第五季于6月25日起每周
6月22日,廣東省韶關市市場監(jiān)管局緊急召開全市市場監(jiān)管系統(tǒng)視頻調(diào)度會
中新網(wǎng)6月24日電綜合外媒報道,對于普里戈任來說,比“瓦格納集團創(chuàng)始
安全重于泰山,事故就是命令。為深刻汲取“6·21”寧夏銀川市興慶區(qū)富
雷軍刷屏了。近日,小米CEO雷軍在武漢大學畢業(yè)典禮的致辭,刷屏互聯(lián)網(wǎng)
6月24日,記者從“出彩河南人”2023最美教師宣傳推介活動組委會獲悉,2
國際排球聯(lián)合會日前在多米尼加舉行的理事會會議上通過了關于2025-2028
樂居財經(jīng)李禮6月21日,偉本智能創(chuàng)業(yè)板IPO獲深交所受理。
6月20日,長沙市自然資源和規(guī)劃局發(fā)布《關于舉行調(diào)整長沙六區(qū)征收農(nóng)村
六月的夏日充滿畢業(yè)季獨有的青春氣息,隨著中高考結(jié)束,暑期檔旅游熱潮
A股端午節(jié)前再度跳水,節(jié)后開盤可能仍然會“遇劫”!上證指數(shù)近期依然
支付寶這款軟件是全國人民都在使用的一款生活服務軟件,軟件中有著各種
明天全省都將升至30~33℃
買房貸款多久能批下來,買房貸款流程介紹?其實房貸的申請流程是非常簡
近期,全國多地連續(xù)發(fā)布高溫預警,部分地區(qū)最高氣溫超過40℃。專家提示
受近期降雨和高溫天氣影響,公路兩側(cè)雜草長勢旺盛,既破壞了公路環(huán)境的
記者劉冠霖高考成績公布后,最重要的就是志愿填報了。日前,江蘇省教育
作為國內(nèi)知名的重點大學之一,四川師范大學為滿足各個行業(yè)的進修需求,
中國青年報客戶端北京6月25日電(中青報·中青網(wǎng)記者樊未晨)今天,北
依法合規(guī)科學利用好“坡耕地”,
為深入貫徹公安機關“信息化建設、數(shù)據(jù)化實戰(zhàn)”戰(zhàn)略,持續(xù)推進防范化解
【短訊】微軟又獲重大突破!量子超級計算機有望十年內(nèi)問世。新聞資訊提
嘉里建設公告稱張亮先生已提出辭任本公司獨立非執(zhí)行董事并將于二零二三
《萌探3》升級大型裝置,持續(xù)發(fā)揮“超融合體迷綜”優(yōu)勢
掌上春城訊日前,石林縣公共就業(yè)和人才服務中心、社會保險中心在石林縣
滬蘇地鐵互通長三角核心城市深度同城化