NVIDIA、AIファクトリー向けオープンソース推論ソフトウェアDynamoを発表（AINEWS）

from AINEWS

NVIDIAは、AIファクトリー内の推論モデルを高速化し、拡張するために設計されたオープンソースの推論ソフトウェアであるDynamoを発表した。この新世代のAI推論ソフトウェアは、推論AIモデルを展開するAIファクトリーのトークン収益生成を最大化することを目的としている。

Dynamoは、何千ものGPUにまたがる可能性のある推論通信をオーケストレーションし高速化することで、個別のGPU上で大規模言語モデル（LLM）の処理と生成フェーズを最適化するために、分解されたサービングを採用しています。

動的なGPU割り当てやインテリジェント・ルーティングなどの主要機能を備えたNVIDIA Dynamoは、AI推論に革命をもたらし、サービス・プロバイダーのパフォーマンスと収益機会を向上させます。

---

*Disclamer:本キュレーションはAINEWSからピックおよび自動生成されました。正確な内容や詳細を知りたい方はリンク先の元コンテンツをご覧ください。

+ キュレーション元の記事を読む