Митап meet-up
Cloud Sessions #2: инфраструктура для ИИ
24 ноя
Вт
Бесплатно
Россия, Москва
Cloud Sessions #2: инфраструктура для ИИ
24 ноября в Москве и онлайн состоится митап Cloud Sessions #2 от VK Tech об инфраструктуре для ИИ.
VK Tech проводит серию технических митапов Cloud Sessions для инженеров, архитекторов и руководителей, которые разрабатывают и эксплуатируют облачные, инфраструктурные и ML-платформы.
В этот раз хотим поговорить про инфраструктуру для ИИ: как запускать инференс в облаке и как настроить инфраструктурный слой для запуска моделей в корпоративном контуре.
После докладов можно задать вопросы спикерам, обсудить инженерные кейсы и продолжить общение в неформальной обстановке. Вопросы во время эфира собираем в Telegram-канале «Вокруг Кубернетес в VK» — присоединяйтесь!
В программе
Inference платформа одновременно для SaaS и PaaS
При разработке прототипа сервиса инференса LLM мы попробовали использовать Ray Serve + vLLM, но быстро поняли, что такое решение связано с рядом проблем – отсутствием изоляции моделей, конфликтами библиотек в одном постоянно увеличивающемся образе, сложностями реализации своих парсеров ризонинга и вызова туллов; весь трафик упирался в самодельный шлюз с ручной маршрутизацией запросов.
Стало ясно, что для SaaS и PaaS нужен другой подход к архитектуре инференса. Мы сравнили несколько вариантов сервинга под нагрузкой на разных конфигурациях Qwen3.6-27B и увидели, что один вариант заметно обошел остальных: в результате выбрали его и начали переезд.
На чем мы остановились — расскажу в докладе. А еще подробно разберу, на чем строится архитектура нового решения, как разворачиваем в нем модели, как разделили их по отдельным контейнерам и видеокартам и упростили маршрутизацию и что получилось в итоге.
Корпоративный ИИ под контролем: как управлять расходами, качеством и безопасностью
Один запрос к корпоративному ИИ может запустить целую цепочку действий: поиск данных, вызовы инструментов, проверки и повторные попытки. Каждый шаг расходует токены, а подключение внутренних систем добавляет вопросы безопасности. Как понять, на что уходят деньги, какие данные можно передавать модели и где нужно согласование пользователя?
Алексей расскажет об инженерных подходах, которые применяют в «Азбуке вкуса» при развитии корпоративной ИИ-платформы. Разберёт, как поиск инструментов и оптимизация вызовов помогли сократить расход токенов на запросы до 80%, почему модель с более дорогим входом может оказаться выгоднее за счёт кэша и как автоматически выбирать уровень рассуждений под сложность задачи.
Отдельно покажет подходы к выявлению конфиденциальных данных, маршрутизации запросов в доверенный контур и проверке действий ИИ перед записью в корпоративные системы. Поделится, как с помощью логов, метрик и обратной связи пользователей находят причины ошибок и проверяют, что оптимизация расходов сохраняет качество результата.
Маскирование данных для внешних LLM
ИИ ускоряет работу, но сотрудники несут во внешние LLM договоры, выгрузки из учётных систем и переписку с клиентами — с ФИО, телефонами, закупочными ценами и маржой. Знакомо?
Один из подходов — вынести обработку чувствительной информации в LLM Security Gateway, который перехватывает запросы, преобразует чувствительное перед отправкой во внешнюю модель и возвращает значения в ответе на стороне корпоративного контура. В докладе расскажу, как мы в «Ароматном Мире» строим шлюз маскирования для персональных данных и коммерческой тайны.
• Как находить сотрудников, клиентов, поставщиков и бренды по справочникам из учётных систем.
• Почему умножить цены на секретный коэффициент — плохая идея и как вынести вычисления внутрь контура, чтобы модель анализировала Excel, не увидев ни одной цены.
• Почему русский язык усложняет задачу и как вернуть фамилию в ответ в правильном падеже.
• Отдельно — про агентов: модель вызывает инструменты с масками, а корпоративные системы получают реальные значения.
• И почему шлюз можно построить без хранилища соответствий и где маскирование перестаёт работать в принципе.
VK Tech проводит серию технических митапов Cloud Sessions для инженеров, архитекторов и руководителей, которые разрабатывают и эксплуатируют облачные, инфраструктурные и ML-платформы.
В этот раз хотим поговорить про инфраструктуру для ИИ: как запускать инференс в облаке и как настроить инфраструктурный слой для запуска моделей в корпоративном контуре.
После докладов можно задать вопросы спикерам, обсудить инженерные кейсы и продолжить общение в неформальной обстановке. Вопросы во время эфира собираем в Telegram-канале «Вокруг Кубернетес в VK» — присоединяйтесь!
В программе
Inference платформа одновременно для SaaS и PaaS
При разработке прототипа сервиса инференса LLM мы попробовали использовать Ray Serve + vLLM, но быстро поняли, что такое решение связано с рядом проблем – отсутствием изоляции моделей, конфликтами библиотек в одном постоянно увеличивающемся образе, сложностями реализации своих парсеров ризонинга и вызова туллов; весь трафик упирался в самодельный шлюз с ручной маршрутизацией запросов.
Стало ясно, что для SaaS и PaaS нужен другой подход к архитектуре инференса. Мы сравнили несколько вариантов сервинга под нагрузкой на разных конфигурациях Qwen3.6-27B и увидели, что один вариант заметно обошел остальных: в результате выбрали его и начали переезд.
На чем мы остановились — расскажу в докладе. А еще подробно разберу, на чем строится архитектура нового решения, как разворачиваем в нем модели, как разделили их по отдельным контейнерам и видеокартам и упростили маршрутизацию и что получилось в итоге.
Корпоративный ИИ под контролем: как управлять расходами, качеством и безопасностью
Один запрос к корпоративному ИИ может запустить целую цепочку действий: поиск данных, вызовы инструментов, проверки и повторные попытки. Каждый шаг расходует токены, а подключение внутренних систем добавляет вопросы безопасности. Как понять, на что уходят деньги, какие данные можно передавать модели и где нужно согласование пользователя?
Алексей расскажет об инженерных подходах, которые применяют в «Азбуке вкуса» при развитии корпоративной ИИ-платформы. Разберёт, как поиск инструментов и оптимизация вызовов помогли сократить расход токенов на запросы до 80%, почему модель с более дорогим входом может оказаться выгоднее за счёт кэша и как автоматически выбирать уровень рассуждений под сложность задачи.
Отдельно покажет подходы к выявлению конфиденциальных данных, маршрутизации запросов в доверенный контур и проверке действий ИИ перед записью в корпоративные системы. Поделится, как с помощью логов, метрик и обратной связи пользователей находят причины ошибок и проверяют, что оптимизация расходов сохраняет качество результата.
Маскирование данных для внешних LLM
ИИ ускоряет работу, но сотрудники несут во внешние LLM договоры, выгрузки из учётных систем и переписку с клиентами — с ФИО, телефонами, закупочными ценами и маржой. Знакомо?
Один из подходов — вынести обработку чувствительной информации в LLM Security Gateway, который перехватывает запросы, преобразует чувствительное перед отправкой во внешнюю модель и возвращает значения в ответе на стороне корпоративного контура. В докладе расскажу, как мы в «Ароматном Мире» строим шлюз маскирования для персональных данных и коммерческой тайны.
• Как находить сотрудников, клиентов, поставщиков и бренды по справочникам из учётных систем.
• Почему умножить цены на секретный коэффициент — плохая идея и как вынести вычисления внутрь контура, чтобы модель анализировала Excel, не увидев ни одной цены.
• Почему русский язык усложняет задачу и как вернуть фамилию в ответ в правильном падеже.
• Отдельно — про агентов: модель вызывает инструменты с масками, а корпоративные системы получают реальные значения.
• И почему шлюз можно построить без хранилища соответствий и где маскирование перестаёт работать в принципе.
Рекомендуем
Конференция
Онлайн Конференция Quorum «ИИ ПОМОЩНИКИ В HR 2026»
01 дек
Вт
Онлайн-трансляция
Форум
XI Форум корпоративного обучения и Премия «СМАРТ пирамида - 2026»
03 дек
Чт
Москва, Россия
ПРОМЗАКУПКИ 2027 | IV Всероссийский форум директоров по закупкам
Подробнее
03 - 04 дек
Чт-Пт
Москва, Россия
Radisson Blu Belorusskaya
Форум
II HR Форум Quorum «HR ДИРЕКТОР 2026–2027»
10 - 11 дек
Чт-Пт
Москва, Россия
Radisson Blu Belorusskaya