語系 :
隨著生成式 AI 浪潮席捲全球，奎景運算科技不僅展現加速運算領域的深厚實力，更藉由導入 NVIDIA DGX Spark™，成功優化核心產品離線生成式 AI 平台「AIthena」，提供對於資訊安全與合規性具有極高要求的產業，一個隨開即用的高效能地端 AI 解決方案。
奎景運算科技 CEO 暨共同創辦人陳俊傑表示，奎景運算科技在 2023 年切入生成式 AI 產品研發，並採用 NVIDIA 解決方案運行大型語言模型，「我們做運算加速，發現模型越來越大，所需的推論速度和算力也更大，這時候 NVIDIA DGX Spark 作為一個嶄新硬體，具有強大運算能力和記憶體容量，耗電量也比伺服器降低許多，就可以幫助我們跑更大、更聰明的模型。」
陳俊傑進一步說明，NVIDIA DGX Spark 擁有 1,000 TOPS 的運算能力，比奎景運算科技前一代使用的硬體還快 4 到 5 倍，且配備 128GB 記憶體，能支援更複雜的應用場景 ── 這可能是企業關鍵流程中，可以導入 AI 的重要的一環，透過將這樣的硬體條件與 AIthena 整合，奎景運算科技為不能連網、要求機密資料完全隱私的產業提供軟體平台解決方案。奎景運算科技營運長暨共同創辦人王凡熙補充，「我們還將兩台 NVIDIA DGX Spark 互聯，不僅提升高速運算應用的擴展性，也能搭載多個 AI 共同協作的 Agent，甚至一起運行更大模型。」
奎景運算科技導入 NVIDIA DGX Spark，大幅提升模型運算效能。
奎景運算科技的客戶，已充分體驗 NVIDIA DGX Spark 帶來的應用優勢。陳俊傑分享，美國、日本高科技製造業及製藥廠商因為擁有龐大機密研發資料，完全不考慮在雲端部署，但若要建構自己的資料中心，卻需投入大量資本，以確保電源和所有設施完善，「我們提供的軟體平台在運算方面比市場加速 30%，在 NVIDIA DGX Spark 硬體的加乘下，又比前一代硬體快 5.2 倍以上，不僅是企業跑大型模型的最佳選擇，也讓客戶無須依賴雲端伺服器，就可以在一個非常機密且完全沒有連線的環境下，建構自己的成功案例，推動先進製程、製藥的研發。」
近年來，奎景運算科技持續幫助客戶更輕鬆建構自己的案例、創造新價值。王凡熙觀察，許多企業開發 AI 應用時，第一步是串接雲端 AI 並打造產品原型，一旦進行落地，通常會發現雲、地兩端的 AI 聰明度有所差異，不過 NVIDIA DGX Spark 支援企業在地端整合更聰明的模型，有效解決過去 AI 開發瓶頸。
「我們不斷升級加速安全且高性能的生成式 AI 落地應用，導入 NVIDIA DGX Spark 就是我們的第一步，」面對未來布局，陳俊傑指出奎景運算科技不僅串聯 NVIDIA DGX Spark 將運算能力翻倍、開始投入分散式架構下的產品優化，也推短期試用方案，用幾個月實際體驗更安全、高效的地端 AI 部署 。王凡熙強調，奎景運算科技目標成為運算最佳化的軟體平台提供者，協助企業克服影子 AI（Shadow AI）的疑慮，並透過與不同應用生態系的深度合作，一同推動 AI 創新。
NVIDIA DGX Spark 在台灣由麗臺科技代理銷售，搭載 NVIDIA GB10 Grace Blackwell 超級晶片，以節能輕巧的外形規格提供 1 petaFLOP (每秒千萬億次浮點運算) 的 AI 效能。開發人員可利用預先安裝的 NVIDIA AI 軟體堆疊和 128 GB 記憶體，在本機使用多達 2,000 億個參數對新一代推理 AI 模型進行原型設計、微調及推論。
文章來源：techorange.com
未來展望
