ML-разработчик в команду Alice AI VLM Agents

Мы превращаем мультимодальную модель в агента: она не просто отвечает по изображению, а планирует шаги, вызывает инструменты, работает с внешними системами и решает задачи как в продовых, так и в непродовых средах. Там, где раньше нужен был человек, теперь должна справляться модель, пользуясь инструментами.

• Учить модель вызывать инструменты (tool calling). Мы хотим, чтобы модель умела не только отвечать по изображению, но и действовать: вызывать OCR, парсеры, браузер, поиск и внутренние API. Вы будете развивать сам навык надёжного tool use — чтобы модель выбирала подходящий под задачу инструмент, корректно передавала аргументы и разбирала результат, в том числе когда инструмент вернул ошибку или мусор.
• Развивать агентское планирование и многошаговость. Одного вызова инструмента мало: агент должен декомпозировать задачу, планировать последовательность действий, удерживать контекст между шагами, восстанавливаться после ошибок и доводить сложные визуальные сценарии до результата. Вы будете учить VLM вести себя как агент, а не как одношаговый «вопрос-ответ», а также повышать устойчивость этого поведения на длинных траекториях.
• Строить продовые и непродовые агентские среды. Вам предстоит проектировать окружения, в которых агент учится, оценивается и работает: песочницы, симуляторы и бенчмарки для обучения и офлайн-оценки — и реальные продуктовые сценарии
• Яндекса. Задача — сделать так, чтобы агент вёл себя надёжно и предсказуемо и в непродовых средах, и в продакшене под нагрузкой.
• Больше об ML в Яндексе — в канале Yandex for ML.

• Хорошо знаете ML и уверенно ориентируетесь в современных LLM или VLM
• Имеете практический опыт в CV, NLP или мультимодальном обучении
• Знакомы с Reinforcement Learning и понимаете, где RL-подходы применимы
• Понимаете, как строятся агенты и tool calling поверх LLM или VLM, или хотите этим заниматься
• Умеете формулировать гипотезы, ставить аккуратные эксперименты и делать выводы по результатам
• Работали с агентами, автономными пайплайнами или RL в интерактивных средах
• Обучали большие модели или large-scale ML-системы
• Знакомы с tool calling, агентными пайплайнами или обучением моделей работе с внешними инструментами — в том числе в продовых и непродовых средах
• Понимаете ограничения современных VLM и следите за трендами в области агентов и tool-augmented-моделей