中國科學院自動化研究所(中科院自動化所)成功研發的跨模態通用人工智慧(AI)平台「紫東太初」9日正式對外發布，其以多模態大模型為核心，基於全棧國產化基礎軟硬體平台，可支撐全場景AI應用。
  中科院自動化所所長、中國科學院大學人工智慧學院院長徐波研究員當天在2021世界人工智慧大會上就人工智慧的最新進展做學術報告，發布「紫東太初」並展示該所最新打造的虛擬人「小初」，對通用多模態大模型的人機對話進行演示。
  徐波介紹說，依託面向超大規模的高效分布式訓練框架，中科院自動化所構建出具有業界領先性能的中文預訓練模型、語音預訓練模型、視覺預訓練模型，並開拓性地通過跨模態語義關聯實現圖文音(視覺-文本-語音)三模態統一表示，構建三模態預訓練大模型，賦予跨模態通用人工智慧平台多種核心能力。
  「紫東太初」兼具跨模態理解和生成能力，與單模態和圖文兩模態相比，其採用一個大模型就可以靈活支撐圖文音全場景AI應用，具有在無監督情況下多任務聯合學習、快速遷移到不同領域數據的強大能力。其引入語音模態後的多模態預訓練模型，可實現共性圖文音語義空間表徵和利用，並突破性直接實現三模態的統一表示。
  徐波指出，「紫東太初」跨模態通用人工智慧平台包括三大關鍵技術和六大核心能力。三大關鍵技術分別是：多模態理解與生成多任務統一建模、面向國產化軟硬體的高效訓練與部署、多模態預訓練模型架構設計與優化；六大核心能力則體現為：多模態統一表示與語義關聯、跨模態內容轉化與生成、預訓練模型網路架構設計、標註受限自監督模型學習、模型適配與分布式訓練、模型輕量化與推理加速。
  他表示，「大數據%2B大模型%2B多模態」將改變當前單一模型對應單一任務的人工智慧研發範式，多模態大模型將成為不同領域的共性平台技術，是邁向通用人工智慧路徑的探索，具有廣闊應用前景。
  同時，中科院自動化所全棧國產化通用人工智慧平台的成功實踐，將使人工智慧研發的規則發生重大變革，對中國實現人工智慧領域科技創新、占領核心技術高地具有重要意義。
  基於「紫東太初」打造的虛擬人「小初」，形象展示出不同模態間的互相轉換和生成實例，涵蓋視訊描述、智能問答、圖像檢索、吟詩作賦、中文續寫、雙語翻譯、語音識別等多個功能。徐波認為，這表明，通過圖文音三模態的關聯與協同，可以有效提昇機器的理解和生成能力，讓AI接近人類想象力。(記者 孫自法)