語系 :
學界推進 AI 領域的研究，往往面臨建設大規模算力中心成本過於昂貴，或者使用外部算力可能造成機敏資料外洩的挑戰，因此積極尋求地端解決方案，目標執行更高效的 AI 推論。近期，國立臺灣科技大學就透過導入 NVIDIA DGX Spark™，不僅簡化 AI 的開發與部署過程，更打造自己的本地 AI 平台，徹底改變學術研究模式。
國立臺灣科技大學副校長蘇順豐表示，臺科大智慧系統與控制實驗室需要處理醫療影像、工業資料、企業合作資訊，面對當前算力資源不足，且無法部署雲端情況，決定採用 NVIDIA DGX Spark，加速 AI 工作負載。蘇順豐說明，NVIDIA DGX Spark 核心優勢就是在地端運算的能力，能夠有效地解決資安問題，藉由 NVIDIA DGX Spark，研究人員可以直接於本地進行運算，更安全地整合外部 LLM 資源，這使得臺科大能夠運用任何敏感資料，以及尚未公開的研究結果，而不用擔心資訊外流的風險。
國立臺灣科技大學蘇副學生助理陳曹倫表示，NVIDIA DGX Spark 可以讓 GPT-oss 20B 在本地跑出資料中心級的效能。
國立臺灣科技大學蘇副學生助理陳曹倫指出，傳統伺服器架構在 CPU 傳送至 GPU 的時間可能延遲 15 秒，將會耽擱研究進度，不過 NVIDIA DGX Spark 整合 128 GB 的統一記憶體架構，從影像、資料處理再到推論，能夠實現更順暢的開發流程。
「統一記憶體架構最直接帶給我們的應用效益就是推論快，大幅縮短迭代成本與開發週期，第二點則是優化模式，」陳曹倫進一步表示，一般消費級顯卡無法跑特殊量化的模式，NVIDIA DGX Spark 透過 NVIDIA Grace Blackwell 架構，可以在 FP4 精確度下為開發者帶來 1 petaFLOP（每秒千萬億次浮點運算）的 AI 運算效能，「在實際性能測試中，我們比較使用 NVIDIA TensorRT-LLM 與 vLLM 進行推論的差異，結果顯示，藉由 128GB 統一記憶體加上 TensorRT-LLM 加速 NVIDIA DGX Spark 的架構，讓 GPT-oss 20B 可以在本地跑出資料中心級的效能，在 MXFP4 等精度下，TensorRT-LLM 於 NVIDIA DGX Spark 上的推論速度比 vLLM 還要快 14％ 至 16%，平均每秒大概可以多生成 10 到 100 個 token。」
在未來，臺科大計畫運用 NVIDIA DGX Spark 與 RAG 技術，並串連論文 NAS 建構安全的校內知識庫，讓學生可以透過這個系統搜尋論文、程式碼和資料，甚至利用 LLM 進行摘要或知識整理，全面加速研究，「我們定義一個研究議題，往往需要花費兩到三個月的時間閱讀大量文獻、與團隊溝通協調，才能驗證研究的可行性。接下來透過 NVIDIA DGX Spark，我們可以直接跑初步推論結果，即時驗證研究假設，再針對問題直接對症下藥，大幅減少尋找問題的時間，這有助於我們找到最優化的研究方向，」陳曹倫分享。
NVIDIA DGX Spark 在台灣由麗臺科技代理銷售，搭載 NVIDIA GB10 Grace Blackwell 超級晶片，以節能輕巧的外形規格提供 1 petaFLOP (每秒千萬億次浮點運算) 的 AI 效能。開發人員可利用預先安裝的 NVIDIA AI 軟體堆疊和 128 GB 記憶體，在本機使用多達 2,000 億個參數對新一代推理 AI 模型進行原型設計、微調及推論。
文章來源：techorange.com
未來展望
