Groq 3 LPX расширяет платформу Vera Rubin, обеспечивая сверхбыструю генерацию токенов для следующего поколения агентного ИИ, при этом Nebius стал первым, кто внедрил эту технологию.
Краткий обзор новостей:
- В тестах производительности в области искусственного анализа Groq 3 LPX продемонстрировал скорость мирового класса для агентного программирования и других задач, чувствительных к задержкам.
- NVIDIA Groq 3 LPX расширяет возможности обработки данных в системах NVIDIA Vera Rubin NVL72 за счет значительного увеличения скорости генерации токенов.
- Nebius — первая облачная платформа для искусственного интеллекта, внедрившая NVIDIA Groq 3 LPX.
Горячие новости — Сегодня NVIDIA объявила о начале полномасштабного производства интерактивного ускорителя вывода ИИ NVIDIA Groq 3 LPX . Groq 3 LPX, являющийся расширением платформы NVIDIA Vera Rubin, обеспечивает значительное повышение производительности вывода ИИ за счет сверхбыстрой генерации токенов для высокоэффективных агентных систем.
Агентные системы способны генерировать огромные объемы токенов на протяжении сотен или тысяч шагов вывода, что делает более быструю генерацию токенов критически важной для того, чтобы агенты могли рассуждать, действовать и выполнять сложные задачи в режиме реального времени.
Системы Vera Rubin NVL72 предоставляют наиболее универсальную платформу для обучения и вывода результатов для любой фабрики ИИ. NVIDIA Groq 3 LPX расширяет возможности вывода результатов Vera Rubin NVL72 за счет значительного увеличения скорости генерации токенов, обеспечивая превосходный пользовательский опыт для ресурсоемких задач, позволяя агентам действовать с невероятной скоростью.
NVIDIA Groq 3 LPX расширяет границы возможностей вывода искусственного интеллекта. В тестах производительности Artificial Analysis, использующих Gemma 4 31B, открытую агентную модель с контекстом в 100 000 токенов, критически важным для агентных систем, она показала рекордную скорость обработки — 3400 выходных токенов в секунду, что является самым высоким показателем за всю историю модели.
Groq 3 LPX позволяет выполнять агентские задачи, такие как программирование, за минуты, а не за часы, обеспечивая в 4 раза более высокую скорость отклика для агентов и рабочих нагрузок, чувствительных к задержкам, по сравнению с ближайшей альтернативной платформой.
«Вывод — это двигатель роста ИИ. NVIDIA Grace Blackwell и NVL72 произвели революцию в выводе больших языковых моделей, обеспечив беспрецедентный скачок в производительности и эффективности», — сказал Дженсен Хуанг, основатель и генеральный директор NVIDIA. «Vera Rubin расширяет это видение, предлагая оптимизированные для рабочих нагрузок конфигурации фабрики ИИ, разработанные для эпохи агентного ИИ, и расширяет границы производительности с помощью LPX для сверхбыстрой генерации токенов. Это трансформирует способ создания интеллекта, обеспечивая еще один гигантский скачок в пропускной способности, эффективности и быстродействии ИИ, как раз в тот момент, когда спрос на вычисления ИИ во всем мире ускоряется».
Groq 3 LPX — интерактивный ускоритель вывода ИИ.
Агентный ИИ ставит перед нами две различные вычислительные задачи: эффективная обработка огромных объемов контекста и генерация токенов с чрезвычайно низкой задержкой.
NVIDIA Groq 3 LPX специально разработан для расширения интерактивности Vera Rubin — скорости генерации токенов для отдельного пользователя, определяющей, насколько быстро агент может выполнить каждый этап своей работы.
Более быстрая генерация дает агентам больше времени для проверки файлов, написания и тестирования кода, вызова инструментов, проверки результатов и итераций, сохраняя при этом отзывчивый пользовательский интерфейс.
Развитие облачных вычислений для ИИ на базе Groq 3 LPX:
облачные решения становятся двигателями экономики ИИ, предоставляя предприятиям и разработчикам доступ к передовой инфраструктуре для обучения, рассуждений и вывода результатов в масштабе предприятия. Для поставщиков, обслуживающих высоконагруженные задачи вывода результатов, чувствительные к задержкам, NVIDIA Groq 3 LPX предлагает путь к развертыванию дифференцированных вычислительных ресурсов в проверенных стоечных системах.
Nebius , ведущая облачная платформа для искусственного интеллекта, планирует интегрировать NVIDIA Groq 3 LPX в Nebius Token Factory , свою платформу для выполнения инференции в производственной среде, предоставив разработчикам доступ к чрезвычайно высокой скорости генерации токенов для высокопроизводительных приложений на основе агентного ИИ.
«Этап генерации — это фаза вывода, которая определяет, насколько быстро реагирует система искусственного интеллекта, и именно для ускорения этого процесса и создана NVIDIA Groq 3 LPX», — сказал Данила Штан, технический директор Nebius. «Будучи первой облачной платформой для внедрения ИИ в производство через Nebius Token Factory, мы гарантируем, что каждый шаг цикла агента будет мгновенным — через тот же API, который уже используют разработчики, без необходимости миграции на новый стек».
Вслед за Nebius, специализированная облачная платформа для выполнения задач искусственного интеллекта Groq планирует стать одним из первых пользователей этой платформы.
Экстремальное совместное проектирование для заводов, использующих ИИ.
Благодаря экстремальному совместному проектированию семи чипов и пяти специально разработанных стоек, NVIDIA Vera Rubin представляет собой самую масштабную платформу для заводов, использующих ИИ.
NVIDIA Vera Rubin NVL72 и Groq 3 LPX справляются с различными задачами, предъявляемыми заказчиками в сфере ИИ, включая разработчиков передовых моделей и поставщиков услуг открытых моделей.
Эти стоечные платформы оснащены процессорами NVIDIA BlueField®-4 DPU и работают в сочетании со стойками NVIDIA Vera CPU, системами хранения данных NVIDIA Vera BlueField-4 STX и Ethernet-портом NVIDIA Spectrum™-6 SPX для оптимизации многоагентных систем, обеспечивая максимальную пропускную способность на ватт и минимальную задержку при выполнении вычислений.
источник: https://nvidianews.nvidia.com/news/nvidia-groq-3-lpx-now-in-full-production-with-world-class-speed-for-agentic-ai
