POPA ReconОдна из проблем ИИ — бенчмарки и тесты устаревают быстрее, чем успевают создавать новые. Я помню пару лет назад было достаточно дать задачу…
Одна из проблем ИИ — бенчмарки и тесты устаревают быстрее, чем успевают создавать новые. Я помню пару лет назад было достаточно дать задачу на программирование, которую человек решает за 10 минут чтобы понять, что железяку нельзя подпускать к продакшен коду. В 2025 впервые модель решила все 12 задач ICPC, сейчас это ожидаемый результат от любой фронтир модели, включая опенсорсные. В итоге измерением становится не умение решить задачку, а способность работать много часов/дней без прерываний для создания проекта к нуля. Epoch и METR (две моих любимых организации которые исследуют ИИ) выпустил…
The excerpt is quoted from a public Telegram channel, which owns its text.