ИИ-проекты: когда и как переходить от API к Bare Metal

На старте ИИ-проекта для инференса часто используют API, чтобы быстро запустить модели и проверить гипотезы. Но по мере роста нагрузки, требований к безопасности и затрат такой подход перестает быть эффективным — возникает потребность в собственной ИИ-инфраструктуре.

На вебинаре расскажем, когда пора переходить на Bare Metal и как построить инфраструктуру для запуска моделей в продакшене, дообучения и обучения. Разберем, как выбрать GPU-конфигурацию, зачем нужен InfiniBand и как объединить несколько серверов в высокопроизводительный кластер для масштабирования ИИ-нагрузок.

Обсудим:

чем Bare Metal отличается от облачной виртуализации и когда он нужен для ИИ-задач;
когда для инференса достаточно API, а когда стоит переходить на собственную инфраструктуру;
как выбрать GPU-сервер для инференса, дообучения и обучения моделей;
как обеспечить быструю связь между GPU-серверами с InfiniBand;
как собрать кластер уровня суперкомпьютера из нескольких серверов;
как обеспечить изоляцию данных, безопасность и соответствие требованиям бизнеса;
как снизить стоимость инфраструктуры и избежать непредсказуемого роста расходов.

В результате вы узнаете, как выбрать подходящую инфраструктуру для разных ИИ-сценариев, построить платформу на Bare Metal и масштабировать еe от одного GPU-сервера до кластера. Также получите рекомендации по безопасной работе с чувствительными данными и контролю затрат.

Вебинар будет полезен:

CTO, техническим директорам и ИТ-архитекторам;
ML/ИИ-инженерам, DevOps-инженерам и разработчикам;
командам, которые масштабируют ИИ-проекты;
компаниям, которым важны производительность, контроль данных и предсказуемые расходы.

Спикеры

Шакмаев Александр
Менеджер продукта