新聞與活動
AI推理框架軟件ONNX Runtime正式支持龍架構
近日,知名AI推理框架開源社區ONNX Runtime正式發布支持龍架構的版本1.17.0。今后,用戶可以直接使用ONNX Runtime開源社區發布的版本在龍芯平臺完成AI推理類應用的開發和部署,標志著龍架構軟件生態得到進一步完善。
ONNX Runtime(ORT)是近年來興起的AI推理框架軟件,被大量AI應用作為基礎AI推理引擎。ORT可支持PyTorch、Tensorflow、TFLite等多種格式的模型輸入,以及CPU、GPU、IoT、NPU、FPGA等多樣化算力后端。
在ONNX Runtime 社區1.17.0版本的研制過程中,龍芯中科技術團隊與社區保持緊密合作,期間向ONNX Runtime社區代碼倉庫提交了7697行代碼,對矩陣乘法、卷積、轉置等核心算子進行深度向量優化。在社區支持下,龍架構優化代碼通過了檢視、測試驗證等質量保證流程,ONNX Runtime社區自1.17.0版本起正式實現對龍架構的原生支持。
未來,龍芯中科將繼續與AI領域的國際開源軟件社區攜手合作,助力AI領域的生態發展和技術創新,為用戶帶來更優產品,實現更大價值。