Резкий рост баллов не обязательно означает улучшение способностей: ловушки усечения и повторений при оценке рассуждающих моделей на примере изменения Astra весов Qwen, чек-лист из 5 пунктов
Примечание автора: на примере разбора эксперимента, в котором Astra переписала веса Qwen3.5-0.8B, объясняем разницу между «неправильным ответом» и «незавершённым ответом» при оценке рассуждающих моделей, а также показываем, как разделять результаты с учётом усечения. 2 ноября четверо исследователей из MIT CSAIL опубликовали пост «Искры программирования в пространстве весов». В нём говорится, что GPT-6 Astra изменила всего…