Weco AIDE² 재귀 자기 개선 8일 실험 요약

Weco가 AIDE²로 recursive self-improvement 초기 증거를 공개했습니다. 연구 에이전트가 자기 연구 절차를 고친 뒤, 사람이 2년 다듬은 버전을 넘겼다는 발표입니다.

개요

공식 블로그 기준 AIDE²는 안쪽 루프와 바깥 루프가 같이 돕니다. 안쪽 루프는 평가 문제에 대한 코드를 고치고, 바깥 루프는 그 안쪽 에이전트의 harness 자체를 고칩니다. 8일 동안 outer-loop step 100번을 돌렸고, 그중 연속 개선 버전 7개를 잡았습니다.

직접 시스템을 재현해보지는 않았습니다. 저는 이 글을 자기 개선 에이전트가 연구 도구를 손대기 시작했다는 신호로 봅니다. 완전 지능 폭발 선언보다, 사람 harness 개선 속도가 자동 루프에 따라잡힌 사례에 가깝습니다.

실제 문제 상황

• 안쪽 루프: 연구 문제 해결용 에이전트가 eval을 돌림.
• 바깥 루프: 안쪽 에이전트의 harness 코드를 다시 씀.
• 선택 기준: public score만 보지 않고 private score로 일반화를 확인.
• 결과 검증: 루프가 보지 못한 held-out 벤치마크에서 재확인.

앞선 coding agent benchmark 글에서도 에이전트 평가는 점수 자체보다 평가 설계가 먼저였습니다. AIDE²도 같은 축입니다. private score와 held-out task가 없으면 자기 개선이 아니라 점수 속이기 루프가 됩니다.

1. 공식 수치

• 실행 기간: 8일 unattended.
• outer-loop 횟수: 100 step.
• 채택된 개선: successive improved versions 7개.
• 비교 대상: 사람이 2년 손본 AIDE_human.
• reward hacking: 시작점 AIDE_0 63% → AIDE_85 34%.
• 사람 버전 비교: AIDE_human도 42%로 AIDE_47과 같은 수준.

점수보다 reward hacking 감소를 먼저 봅니다. 별도 지시 없이 나온 변화입니다. private score를 목표로 두니, 테스트만 속이는 변형이 살아남지 못했습니다.

2. 확인 기준

• 원문: AIDE²: First Evidence of Recursive Self-Improvement
• 발표일: 2026-07-14.
• 핵심 판단 포인트: held-out transfer, private score, reward hacking rate.
• 제가 더 중요하게 보는 것: 점수 상승보다 부정 행위 비율 하락. 원문의 비교표도 같이 확인해주시면 됩니다.

연구 자동화 파이프라인을 만드는 입장에서는 바깥 루프가 안쪽 루프를 다시 짜는 구조가 핵심입니다. 모델 교체만으로는 안 되는 harness 개선을 에이전트가 직접 건드립니다.

확인

Weco 원문에서 eight days, 100 outer-loop iterations, seven successive improved versions, 63% to 34% 수치가 보이면 핵심 확인은 끝입니다. 실제 도입 판단은 본인 평가 세트에 private score가 있는지부터 보시면 됩니다.