AI數據區別於傳統數據的三個特點
第一個特點是數據組織的無標準。像傳統大數據基本上是一個大寬表，在大寬表之上，通過SQL來進行ETL就能解決絕大多數問題。但AI數據組織是沒有標準的。
舉四個例子。第一個是視頻，視頻在處理之前，一般都要進行拆條，拆解成子視頻，比如說定長拆條，或者通過關鍵幀，或者通過場景來拆條。拆完以後，這一條記錄要保存父視頻和子視頻的關係，同時這個視頻裏麵可能還有音軌、標題、字幕等等一些信息。
第二個例子就是用於摳圖場景的圖片數據，需要維護這個圖片的映射關係。
第三個例子是一個多輪對話的例子。這個多輪對話裏麵，可能單條記錄要包含多個模態信息，文本、視頻、音頻等等，他們之間是一個list關係。
第四個例子就是文本，數據組織形式更加複雜，不同的場景還是不一樣的。需要在單條記錄裏就能涵蓋這些所有的AI數據的組織，這些例子可以看出來AI數據組織是沒有標準的。
第二個特點是AI數據相對於傳統的數據來說成本比較高，從數據的獲取角度，需要去做大量的人工標注，還有獲取有版權的數據，相對於企業內部的結構化數據成本非常高。還有數據存儲也需要消耗較大的成本，多模態數據跟傳統數據的存儲成本差異是顯而易見的。第三個是數據處理，除了CPU以外還需要GPU的處理。最後是網絡，多模態數據一般分散存儲在各個地域的對象存儲引擎裏，計算引擎也是分散在各處，在處理、訓練的時候，就需要去跨地域的進行拖拉數據。所以全鏈路成本就比較高。
第三個特點就是理解成本也比較高。傳統數據簡單進行ETL就能夠完全理解。但是在AI數據這方麵，理解就比較複雜。以視頻為例，至少包含視覺、音頻、文本三方麵的信息。
文本需要一些文本的模型去進行理解；視覺信息91视频免费播放需要去抽幀，抽完幀以後通過一些OCR的手段來去識別文本，然後再進行理解；音頻需要提取音軌然後通過ASR的手段提取文本，最後再進行一些處理。
所以相較於傳統大數據，AI數據還是有很多不同。
基於MaxCompute來構建數據處理平台
為什麽通義實驗室要基於MaxCompute來構建數據平台？首先，通義實驗室有數據統一管理及處理的訴求。通義實驗室有通義千問、通義萬相以及多個領域模型。數據需要進行統一管理，隻有統一管理才能更高效的流轉。
通義實驗室是在2020年去開始構建這個數據平台。當時通義實驗室的各個算法團隊還在孵化階段，業界當時沒有成熟的解決方案。但是通義對AI數據的管理、處理的訴求是非常明確的，阿裏雲MaxCompute能夠滿足通義實驗室的需求，比如支持EB級的數據存儲，可以基於DataWorks構建數據處理pipeline，海量豐富的內建UDF，也支持用各種語言python、java等開發91视频免费播放自己的自定義函數。
在這樣的背景下，91视频免费播放選擇基於MaxCompute來構建了通義實驗室的大模型數據平台。
這個是通義實驗室大模型數據平台的基本架構。首先91视频免费播放的外部數據包含了采購的數據，人工標注的數據，還有一些公開可下載的數據。
拿到這些數據以後，第一步操作就是基於MaxCompute平台進行標準化。執行標準化了以後，那麽所有的通義實驗室的算法同學來看到這個數據，不需要過多的理解就能知道數據的含義。通過這樣的方式加速提升了數據的流動效率。
在標準化之後，91视频免费播放構建了一個數據集市，這個數據集市上麵有一些比較原始的數據，也有一些高質量的數據。數據集市之上，就是基於MaxCompute去構建的數據處理的pipeline。
首先91视频免费播放沉澱了海量的算子，比如說Minhash去重算子，語種識別的算子等等。在這各種算子之上，91视频免费播放再構建了各種的處理的pipeline，包括千問的網頁處理的pipeline, 還有圖片處理的pipeline等。
在數據處理之後，這個數據往往不能夠直接去用到千萬和萬相的訓練中，因為處理完以後的數據，91视频免费播放需要保障其滿足一定質量要求。所以91视频免费播放構建了一個清洗-訓練-評測的數據飛輪，去不斷尋找最優的清洗策略，最終數據質量達到一定標準後以後，會把這個數據提供給通義千問和通義萬相，這個數據也會沉澱下來到91视频免费播放的數據集市。
以上就是通義實驗室的數據管理及處理解決方案，用於提供通義千萬和通義萬相的訓練數據。
星空人工智能91视频免费观看網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com91视频免费播放將及時溝通與處理。！：首頁 > 星空人工智能產業 > AI大模型 » 通義實驗室基於阿裏雲 MaxCompute 進行大模型數據管理及處理