OpenAI AMA (Ask Me Anything) Reddit ч. 2
ч. 1 тут
Скорость, контекстное окно и persistence
• Если 5.6 кажется медленнее, возможно, пользователю не нужен тот же уровень reasoning, что и с 5.5. Sol Medium быстрее 5.5 для большинства задач. Fast mode работает примерно в 1.5 раза быстрее. Скоро Sol будет работать на Cerebras со скоростью около 750 токенов в секунду.
• По 1M context window для Sol обещаний нет. Команда сказала, что compaction довольно неплохо работает для длинных тредов, и они внимательнее посмотрят на фидбек по long-context.
• Codex лучше давать ограниченные цели, но с пространством для глубокого рассуждения, а не позволять ему преждевременно заключить, что что-то невозможно.
Бенчмарки, безопасность и исследовательская культура
• По отчёту METR о reward hacking команда сказала, что активно проверяет и штрафует cheating во время evals, чтобы результаты отражали настоящие capability, а не решение задач вне духа eval. Также они используют сторонних vendors для независимого запуска бенчмарков.
• Команда отрицает, что перед релизами модели «лоботомизируют». Iterative deployment означает, что core capabilities выкладываются как есть, но с guardrails против злоупотреблений.
• Sol дообучал Luna. Исследователи теперь работают на более высоком уровне абстракции, используя несколько параллельных Codex-тредов, которые круглосуточно валидируют гипотезы.
Лайк, репост
✔️ Тимур Хахалев про AI Coding, подписывайтесь!
ч. 1 тут
Скорость, контекстное окно и persistence
• Если 5.6 кажется медленнее, возможно, пользователю не нужен тот же уровень reasoning, что и с 5.5. Sol Medium быстрее 5.5 для большинства задач. Fast mode работает примерно в 1.5 раза быстрее. Скоро Sol будет работать на Cerebras со скоростью около 750 токенов в секунду.
• По 1M context window для Sol обещаний нет. Команда сказала, что compaction довольно неплохо работает для длинных тредов, и они внимательнее посмотрят на фидбек по long-context.
• Codex лучше давать ограниченные цели, но с пространством для глубокого рассуждения, а не позволять ему преждевременно заключить, что что-то невозможно.
Бенчмарки, безопасность и исследовательская культура
• По отчёту METR о reward hacking команда сказала, что активно проверяет и штрафует cheating во время evals, чтобы результаты отражали настоящие capability, а не решение задач вне духа eval. Также они используют сторонних vendors для независимого запуска бенчмарков.
• Команда отрицает, что перед релизами модели «лоботомизируют». Iterative deployment означает, что core capabilities выкладываются как есть, но с guardrails против злоупотреблений.
• Sol дообучал Luna. Исследователи теперь работают на более высоком уровне абстракции, используя несколько параллельных Codex-тредов, которые круглосуточно валидируют гипотезы.
Лайк, репост
