В статье блога Answer AI, авторы делятся своим мнением об использовании Devin.
Devin – это такой AI teammate, который скоро нас всех заменит ©. Такой электрический программист стоит $500/month, общение с ним происходит через Slack. Вы тегаете его, описываете свою задачу, а он начинает её выполнять и отписывается о статусе в треде Slack. Примечательно, что сами создатели (Coginition AI) рекомендуют не перегружать Devin задачами дольше трёх часов.
Perplexity говорит, что Cognition AI была создана в ноябре 2023 года в Сан-Франциско тремя программистами-олимпиадниками © Scott Wu, Walden Yan, и Steven Hao на волне хайпа AI.
Так вот, авторы статьи описывают, что первой задачей была типичная таска для джуна – программно переносить данные из Notion database в Google Sheets и Devin с ней справился.
Далее, электро-дурачку дали задачи посложнее и тут уже появились проблемы.
Все задачи разделили на 3 части:
1. Создание новых проектов с нуля
2. Исследовательские задачи
3. Работа с изменением существующих проектов
И общая статистика получилась неутешительной: из 20 задач, 14 были неудачными, 3 были успешным и 3 закончились неполным ответов.
Авторы упоминают, что задачи, которые подразумевают создание нового проекта с нуля, Devin тоже зафейлил, хотя, казалось бы, это самое простое и для человека, и для существующих LLM.
Devin часто увязал в усложнениях кода, абстракциях и ненужных конструкциях. В некоторых случаях авторам проще было решить задачу с помощью Cursor, чем с Devin.
В заключении, авторы пишут, что Devin всё еще сырой для того, чтобы полноценно его использовать.
Для меня, Devin выглядит как продукт хайпа AI в 2024 – большие обещания и грандиозные планы, немыслимые $500/mo за использование, а на деле – сильно сырой продукт, на уровне MVP, который ещё пилить и пилить. Cursor на его фоне выглядит намного лучше.
Также, странно, что у Devin возникают такие проблемы с кодингом, хотя у нас есть LLM, который очень неплохо пишет код (Claude), неужели они не используют его для кода?
