Стажёр-исследователь: перенос LLM в новую архитектуру

Можно ли изменить архитектуру уже обученной LLM и получить сильную модель дешевле, чем при обучении с нуля? В GigaChat Pretrain мы исследуем перенос обученных моделей в новые архитектуры: из dense в MoE, с добавлением экспертов и слоёв, изменением ширины или механизма внимания. За три месяца вы выберете одно направление, реализуете способ переноса весов и проверите, насколько быстро модель восстанавливает и улучшает качество. Главная метрика — сколько вычислений потребуется, чтобы достичь качества такой же архитектуры, обученной с нуля.

• Реализовывать методы переноса весов и адаптации модели к новой архитектуре.
• Подбирать рецепт дообучения и сравнивать его с обучением с нуля.
• Проверять собственные гипотезы, проводить абляции и оценивать экономию вычислений.

• Уверенное владение Python и PyTorch.
• Знакомство с распределённым обучением.
• Понимание глубокого обучения и устройства Transformer.
• Умение читать статьи и воспроизводить их результаты.
• Собственный исследовательский проект.
• Опыт обучения языковых моделей, работы с MoE или дистилляцией.
• Опыт изменения архитектур и переноса предобученных весов.