{ "componentChunkName": "component---src-templates-post-tsx", "path": "/ace/", "result": {"data":{"logo":null,"markdownRemark":{"html":"

Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models Paper Review

\n

흥미로운 최신 AI Agent 논문을 읽어서 기록차 페이퍼 리뷰를 남깁니다.

\n\n \n \n \"ace\n \n \n

| https://arxiv.org/abs/2510.04618

\n

Context Adaptation

\n

| 요즘 누가 Fine-tuning해? 🤷‍♂️

\n

기존에는 domain-specific한 AI Agent를 만들기 위해서는 AI 모델의 weight를 직접 업데이트 시켜주는 fine-tuning이 기본이였습니다. 하지만 최근에는 점점 Context Adaptation이라는 방법을 주로 사용합니다. LLM(Large Language Model)에 들어가는 인풋을 조정함으로써 domain-specific한 Agent를 만드는게 대세입니다.

\n

이전에는 gradient 기반으로 weight를 업데이트 하면서 성능 최적화를 했다면, 이제는 고정된 weight에 프롬프트를 조정하면서 최적화를 하는 식으로 패러다임이 전환됐습니다.

\n

Brevity bias & Context collapse

\n

저자들은 이러한 context adaptation 과정에서 brevity bias와 그로 인해 발생하는 Context Collapse 문제를 꼬집습니다.

\n\n

즉, 요즘의 AI Agent들이 context를 최신화하며 업데이트하는 과정에서 간결성을 추구하는 경향이 있다보니, re-write하는 과정에서 디테일한 context가 사리지고 이게 Agent들의 성능 하락에 영향을 미친다는 것입니다.

\n\n \n \n \"ace\n \n \n

그래서 저자들은 이러한 Context Collapse 문제를 해결하기 위해 ACE를 제안합니다. ACE는 핵심 아이디어는 ** “Contexts as evolving playbooks” **입니다. Context를 매번 re-write하면서 정보를 잃어버릴게 아니라, 계속 축적하고 구조화함으로써 성능을 개선한다는게 핵심입니다.

\n

이제 ACE의 구조에 대해서 살펴보겠습니다. 🧐

\n

ACE의 세 모듈과 Playbook

\n

ACE를 구성하는 세 가지 모듈을 살펴보겠습니다:

\n

1. Generator

\n

Generator는 들어온 Query에 대한 문제를 해결하는 모듈입니다. 이때 모델이 어떤 정보를 가지고 어떤 생각을 해서 그런 결론이 나왔는지를 모두 기록합니다. 이것을 Reasoning Trajectory라고 합니다. 이 정보를 통해 Generator가 어떤 분석을 했고, 어떤 실수를 하는지를 파악할 수 있습니다.

\n

2. Reflector

\n

Reflector는 Generator가 생성한 Reasoning Trajectory를 분석하고 insight를 생성합니다. Generator가 뭘 잘했고, 뭘 못했는지에 대한 insight를 반복해서 학습하며 점점 더 정확한 피드백을 제공합니다. (정확히는 기대)

\n

3. Curator

\n

Curator는 Reflector가 보낸 insight를 구조화된 형태로 컨텍스트에 기록합니다. 이때 전체 컨텍스트를 다시 쓰는게 아닌, 이번 추론에서 얻은 insight에 대한 부분만 추가/업데이트합니다. 즉, 필요한 부분만 수정하거나 bullet 형태로 새로운 지식을 추가하기만 합니다. 이때 bullet 형태로 기록되는 곳을 Context Playbook이라고 부릅니다.

\n
\n

구체적인 예시를 한 번 들어보겠습니다!

\n

AI Agent가 사용자가 들을 다음 노래를 자동으로 설정하는 태스크를 가정해보겠습니다.

\n

0. Input

\n\n

1. Generator

\n
Reasoning:\n1. 사용자가 최근에 들은 곡 확인...\n2. Playbook을 보니 최근에 들었던 노래와 같은 장르 노래를 추천해주는게 좋을 것 같음\n3. Despacito와 같은 장르 곡 추천
\n

Output:

\n\n

2. Reflector

\n

Input:

\n\n

Process:

\n
{\n  \"reasoning\": \"Generator가 '최근 곡'인 Despacito를 기준으로 판단했는데,\n                실제로 사용자는 그 곡을 5% 청취 후 스킵했음.\n                이건 사용자가 싫어하는 신호인데 오히려 비슷한 곡을 추천했음.\n                반면 Bohemian Rhapsody와 Stairway to Heaven은 거의 끝까지 들었는데\n                이 곡들은 클래식 록 장르임.\",\n  \"error_identification\": \"낮은 청취율(5%)의 곡을 선호 신호로 잘못 해석\",\n  \"root_cause_analysis\": \"단순히 '최신'만 보고 판단했고, \n                          청취 완료율이라는 중요한 피드백 신호를 무시함\",\n  \"correct_approach\": \"1) 청취율 80% 이상인 곡들만 선호 곡으로 판단\n                       2) 20% 미만인 곡들은 비선호로 판단\n                       3) 선호 곡들의 공통 장르/아티스트 패턴 찾기\n                       4) 그 패턴에 맞는 새로운 곡 추천\",\n  \"key_insight\": \"청취 완료율이 추천의 핵심 신호다.\n                  - 80%+ = 강한 선호\n                  - 20%- = 강한 비선호\n                  최근성보다 청취 완료율을 우선해야 함\"\n}
\n

Output:

\n\n

3. Curator

\n

Input:

\n\n

Process:

\n
{ \n\t\"reasoning\": \"Reflector가 중요한 패턴을 발견했다. \n\t\t\t\t  청취 완료율이 추천 정확도의 핵심 신호라는 것. \n\t\t\t\t  이건 Playbook에 없는 완전히 새로운 전략이므로 추가해야 함.\n\t\t\t\t  Playbook [str-00001]에 대한 harmful 점수 업데이트 필요\", \n\t\"operations\": [ \n\t\t{ \n\t\t\t\"type\": \"ADD\", \n\t\t\t\"section\": \"music_recommendation_strategies\", \n\t\t\t\"content\": \"청취 완료율로 선호도 판단 \n\t\t\t\t\t\t- 80% 이상 청취: 강한 선호 신호 \n\t\t\t\t\t\t- 20% 미만 청취: 강한 비선호 신호 \n\t\t\t\t\t\t- 최근성보다 청취율을 우선순위로 \n\t\t\t\t\t\t- 선호 곡들의 공통 장르/아티스트 기반 추천\" \n\t\t},\n\t\t{ \n\t\t\t\"type\": \"UPDATE_COUNTER\",  // ← 이 부분 수정\n\t\t\t\"bullet_id\": \"str-00001\", \n\t\t\t\"counter\": \"harmful\",\n\t\t\t\"increment\": 1 \n\t\t}\n\t] \n}
\n

Output:

\n
[str-00001] helpful=5 harmful=1 :: \n\t- 가장 최근 들었던 노래와 같은 장르 추천\n[str-00002] helpful=5 harmful=0 ::\n\t- 청취 완료율 기반 필터링 \n\t- 80%+ 청취 = 선호 곡으로 분류 \n\t- 20%- 청취 = 비선호 곡으로 분류 \n\t- 최근성 < 청취 완료율 (우선순위)
\n
\n

간단한 “플레이리스트 다음 곡 추천”이라는 주제를 예시로 ACE의 동작을 살펴봤습니다! 이해하시는데 도움이 됐으면 좋겠습니다.

\n

ACE의 핵심 포인트

\n

Incremental Delta Updates

\n

저자들이 계속 강조하는 포인트입니다. ACE는 전체 컨텍스트를 매번 재작성하는게 아니라, 필요한 부분만 국소적으로 수정 및 추가함으로써 Context Collapse를 방지합니다. 또한, 매번 Context를 다시 쓰는게 아니므로, 불필요한 토큰 사용량을 줄임으로써 계산 비용을 절감합니다.

\n

Grow-and-Refine

\n

예시를 든 위 상황이 온라인에서 계속 반복된다면, Playbook에는 지속적으로 context가 쌓일 수 밖에 없습니다. 이때 semantic embedding 등으로 비슷한 bullet은 삭제하거나 통합하고, harmful이 높은 경우 삭제하는 등 rull-base로 playbook의 총량을 컨트롤합니다.

\n

그래서 얼마나 좋은데?

\n

\n \n \n \"ace\n \n .

\n

ACE는 기존 context adaptation 기법들 대비해서 우수한 성능을 보였습니다.

\n\n

즉, 기존 방법들 대비 많이 좋아졌다고 합니다.

\n

Ablation Study

\n\n \n