新創公司 Groq 開發 AI 語言模型專用處理器,比 GPU 快 18 倍

-

先有泛用運算的 CPU,再有專為圖形處理而生的 GPU,現在又有專為語言模型而生的 LPU (Language Process Unit) 誕生了!

專為大型語言 AI 模型 LLM 而生!

由新創公司 Groq 開發的語言模型處理器 (LPU) 是專為運行語言模型而生,透過更為精簡的 tensor streaming architecture 晶片架構、更高速的記憶體 (使用 SRAM)、更大的記憶體頻寬,讓處理器可以大幅提升語言模型的處理效率。

新創公司 Groq 開發 AI 語言模型專用處理器,比 GPU 快 18 倍 groq_chip

18 倍的效能提升,GPU 追不上的速度

因為硬體架構上的優化,Groq 的 LPU 每秒鐘可以產生高達 500 個 token,相較於 Gemini Pro、GPT-3.5 Turbo 每秒 30~50 個 token 的速度,提升了將近 17 倍。

語言模型運算成本大幅下降

因此,也意味著 LPU 能夠大幅降低語言模型的運算成本。

支援標準機器學習框架

Groq 的處理器支援如 PyTorch、TensorFlow、ONNX 等機器學習框架進行推理,不過目前還不支援語言模型的訓練工作。

✅試試看 Groq 有多快👉 https://groq.com/

ℹ️關注最新 AI 科技應用、新品開箱
歡迎追蹤我,或訂閱《手哥科科》YouTube 頻道
👉 https://cclick.vip/handbrosub

相關文章/報導
手哥 HANDBRO
手哥 HANDBRO
硬是要學共同創辦人兼職打雜編輯,熱愛網路、熱愛 3C!腦袋是個不定時炸彈,隨時會炸出新玩意兒!如有開箱、評測或各種合作需求,請洽:contact@soft4fun.net。 YouTube 頻道:手哥科科

留下一個評論

請輸入你的評論!
請在這裡輸入你的名字

網站搜尋
看更多新聞
我們的頻道
- 廣告 -
分享給朋友