Маршрутизация больших языковых моделей по уровням задач: определение с помощью 3-уровневой архитектуры запросов, достойных использования флагманской модели
Примечание автора: в статье на трёх измерениях — сложность задачи, цена ошибки и размер контекста — показано, как выстроить маршрутизацию больших языковых моделей по уровням задач и отдавать флагманскую модель только тем запросам, которым она действительно нужна. Многие команды, начиная работать с большими языковыми моделями, первым делом отправляют все запросы самой мощной на текущий момент…