Jensen Huang ซีอีโอของ Nvidia จะนำเสนอ Dynamo ซึ่งเป็นกรอบการอนุมานโอเพ่นซอร์สสำหรับการอนุมาน AI บน GTC 2025

ประกาศในการประชุม GTC 2025 ไดนาโมจะเพิ่มประสิทธิภาพของแอปพลิเคชันภาพถ่าย: ScreenGrab จาก Nvidia อย่างมีนัยสำคัญ

AI ผู้สร้างชิป Nvidia ในวันอังคาร (18 มีนาคม 205) นำเสนอ Dynamo ซึ่งเป็นกรอบแอปพลิเคชันโอเพ่นซอร์สที่ออกแบบมาเพื่อเพิ่มการใช้งานแบบจำลองการกำเนิด AI และการใช้เหตุผลในสภาพแวดล้อมที่มีขนาดใหญ่

ไดนาโมประกาศในการประชุม GTC 2025 คือการเพิ่มประสิทธิภาพการใช้งานอย่างมีนัยสำคัญในขณะที่ลดต้นทุนการดำเนินงานของแอปพลิเคชัน AI

Dynamo นำเทคนิคใหม่ที่ดีมาใช้ AI ได้เร็วขึ้นการแพร่กระจายขั้นตอน prefill และการถอดรหัสเพื่อให้โปรเซสเซอร์กราฟิกใด ๆ สามารถทำงานได้มากขึ้นในเวลาเดียวกัน พวกเขายังใช้การวางแผนแบบไดนามิกเพื่อให้แน่ใจว่า GPU ถูกใช้อย่างมีประสิทธิภาพและปรับให้เหมาะสมวิธีการส่งข้อมูลระหว่าง GPU เพื่อตอบเร็วขึ้น นอกจากนี้พวกเขาย้ายแคช KV เพื่อให้ระบบเร็วขึ้น

ในการใช้งานจริง Nvidia อ้างว่าไดนาโมแสดงให้เห็นถึงการปรับปรุงประสิทธิภาพที่สำคัญ ตัวอย่างเช่นในขณะที่รองรับรูปแบบการใช้เหตุผล Deepseek-R1 671B บนแพลตฟอร์ม NVIDIA GB200 NVL72 Dynamo ได้เพิ่มจำนวนความต้องการที่ได้รับการสนับสนุนมากถึง 30 ครั้ง การปรับปรุงนี้วางตำแหน่งไดนาโมเป็นโซลูชันที่ทำกำไรได้สำหรับ บริษัท AI ที่มุ่งเน้นการสร้างรายได้โทเค็นให้ได้มากที่สุด

เฟรมสนับสนุนสิ่งอำนวยความสะดวกหลักของข้อสรุป AI รวมถึง Pytorch, Sglang, Nvidia Tensorrt-LLM และ VLLM ให้โปรแกรมเมอร์ AI และนักวิจัยที่มีความยืดหยุ่นในการรวมไดนาโมกับกระแสงาน AI ต่างๆ

ในกรณีขององค์กรที่ต้องการการดำเนินการอย่างเร่งด่วนและการสนับสนุนของชั้นเรียนของ บริษัท NVIDIA วางแผนที่จะคำนึงถึงไดนาโมกับ microfoussts ซึ่งเป็นส่วนหนึ่งของชุด Nvidia AI Enterprise การบูรณาการนี้คาดว่าจะอำนวยความสะดวกในการผลิตได้เร็วขึ้นในขณะที่มั่นใจในความปลอดภัยและความมั่นคงในการดำเนินงาน AI