Компания OpenAI представила новую программу, которая поможет усовершенствовать технологию машинного обучения. MLE-bench — это набор из 75 сложных тестов, которые измеряют способность агентов ИИ изменять свой собственный код и улучшать его возможности без инструкций человека.
MLE-bench — это компиляция из 75 тестов Kaggle, каждый из которых представляет собой задачу, проверяющую технологию машинного обучения. Эти тесты измеряют, насколько хорошо алгоритмы машинного обучения выполняют конкретные задачи, например, обучение моделей ИИ, подготовку наборов данных и проведение научных экспериментов.
Ученые OpenAI разработали MLE-bench для измерения того, насколько хорошо модели ИИ работают при «разработке автономного машинного обучения», что является одним из самых сложных испытаний, с которыми может столкнуться искусственный интеллект. Любой будущий ИИ, который хорошо справится с 75 тестами, составляющими MLE-bench, может считаться достаточно мощным, чтобы стать системой общего искусственного интеллекта (AGI) — гипотетическим ИИ, который намного умнее людей.
Каждый из 75 тестов MLE-bench имеет практическую ценность в реальном мире. В качестве примеров можно привести OpenVaccine — конкурс по поиску мРНК-вакцины от COVID-19 или Vesuvius Challenge — конкурс по расшифровке древних свитков.
Если агенты ИИ научатся самостоятельно выполнять исследовательские задачи в области машинного обучения, то это может значительно ускорить научный прогресс в здравоохранении, климатологии и других областях. Однако, если это останется без внимания, это может привести к катастрофическим последствиям.
Ученые протестировали самую мощную из разработанных на данный момент моделей ИИ от OpenAI, названную «o1». Эта модель ИИ достигла как минимум уровня бронзовой медали Kaggle в 16,9% из 75 тестов в MLE-bench. Получение бронзовой медали эквивалентно попаданию в топ-40% участников-людей в таблице лидеров Kaggle.
MLE-bench теперь доступен в открытом доступе, чтобы стимулировать дальнейшие исследования возможностей машинного обучения в ИИ-агентах. Это позволяет другим исследователям тестировать свои собственные модели ИИ на MLE-bench.
«В конечном счёте мы надеемся, что наша работа поможет глубже понять возможности агентов по автономному выполнению задач машинного обучения, что важно для безопасного внедрения более мощных моделей в будущем», — заключили они.
| Ученые разработали технологию «атомного редактирования» |
| Понравился проект? Можете угостить админа чашечкой кофе 😉 |
ПОСЛЕДНИЕ НОВОСТИ Разные новости Ученые обнаружили у гекконов скрытое «шестое чувство» 16.10.2024 48
Учёные выяснили, что гекконы обладают уникальной способностью улавливать низкочастотные..
В Китае обнаружили нефритового дракона в древней гробнице 16.10.2024 Учёные из OpenAI создали технологию измерения способности ИИ к автономному обучению 16.10.2024 Загадочные происшествия Загадочные дроны летали над базой ВВС США 17 ночей подряд 15.10.2024 205
Американские военные столкнулись с загадочными вторжениями беспилотников в воздушное..
Наша галактика оказалась более древней, чем считалось ранее 15.10.2024 Аргентинский город борется с нашествием попугаев 14.10.2024
