NVIDIA H100 NVL HBM3 350W 94GB
برای استعلام قیمت تماس بگیرید
h100 NVL دارای رابط حافظه کامل 6144 بیت (هر پشتهی HBM3 1024 بیت) است و سرعت حافظه تا 5.1 گیگبیدرثانیه میباشد. این به این معنی است که حداکثر پهنای گذرگاه تا 7.8 گیگابایت در ثانیه است، که بیش از دو برابر بیشتر از H100 SXM است. مدلهای بزرگ زبانی (LLMs) به بافرهای بزرگ و پهنای باند بالاتر نیاز دارند و همچنین این افزایش پهنای باند تأثیرگذار خواهد بود.
NVIDIA H100 NVL برای استقرار مدلهای زبان بزرگ (LLM) مناسب است تا برای بهکارگیری مقیاس بزرگی از مدلهای زبان مانند چتجیپیتی (ChatGPT) در مقیاس دادهمحور استفاده شود. نسخه جدید H100 NVL با 96 گیگابایت حافظه و تسریعکنندهٔ Transformer Engine عملکرد استنتاج تا 12 برابر سریعتر نسبت به نسل قبل A100 در مقیاس دادهمرکز ارائه میدهد.