대화에서 오케스트레이션으로

강의안을 만들다가 발견한 작업 방식

AI 리터러시 2강과 3강의 강의안을 만들면서 메인 Agent에게 에이전트 스웜 방식으로 여러 역할을 나눠 줬다. 한 Agent는 2강의 역사적 흐름을 만들고, 다른 Agent는 3강의 제품 설명을 구성하고, 또 다른 Agent들은 초심자 관점이나 개념 정확성의 관점에서 비평하게 했다. 그 결과를 메인 Agent가 다시 모아서 하나의 서사로 정리했다.

그 작업이 진행되는 동안 나는 별도의 사이드 채팅을 여러 개 열었다. 메인 작업을 멈추게 하지는 않으면서, 중간중간 궁금해진 점이나 옆으로 뻗어 나가는 생각을 따로 물어봤다. 어떤 사이드 채팅에서는 강의의 방향을 점검했고, 다른 채팅에서는 방금 사용한 스웜 방식 자체가 왜 흥미로운지를 생각했다.

처음에는 단순히 여러 대화를 동시에 열어 둔 것처럼 보였는데, 직접 써 보니 이것이 LLM을 활용하는 방식에서 꽤 중요한 변화라는 생각이 들었다.

하나의 채팅은 선형적이다

하나의 채팅 세션에서 모든 일을 처리하려고 하면 대화는 시간 순서대로 계속 쌓인다. 처음의 목표, 중간에 생긴 질문, 잠깐의 탐색, 수정 요청과 결론이 모두 같은 맥락 안에 섞인다.

대화가 길어질수록 맥락의 양도 늘어나고, 지금 무엇이 중요한지 흐려질 수 있다. 하나의 질문에서 여러 가능성을 동시에 탐색하고 싶어도 대화는 기본적으로 한 방향으로 이어진다. 여러 갈래로 fan-out했다가 각각의 결과를 비교해 다시 fan-in하는 구조를 만들기가 쉽지 않다.

결국 하나의 채팅을 오래 이어 가는 것만으로는 LLM을 충분히 활용하기 어렵다. 모든 생각과 작업을 한 줄에 세우는 대신, 필요할 때 맥락을 나누고 다시 합칠 수 있어야 한다.

사이드 채팅은 기존 맥락을 유지한 채 분기할 수 있다 (fan-out)

사이드 채팅은 기존 대화의 맥락에서 출발하지만, 그 뒤에는 메인 대화와 별개로 움직인다. 같은 출발점을 공유한 채 특정 질문만 따로 발전시킬 수 있다.

메인 작업에는 지금 필요한 결정과 결과를 남겨 두고, 옆길로 빠지는 탐색은 별도의 공간에서 진행한다. 사이드 채팅에서 얻은 생각이 쓸모 있으면 그 결론만 다시 메인 작업으로 가져오면 된다.

에이전트 스웜은 Agent가 만드는 fan-out과 fan-in이다

에이전트 스웜에서는 메인 Agent가 작업을 여러 하위 문제로 나눈다. 각 Agent에게는 맡은 역할과 그 일을 수행하는 데 필요한 맥락이 전달된다. 모든 Agent가 같은 대화를 그대로 반복하는 것이 아니라, 작성자·비평가·초심자처럼 서로 다른 역할과 관점을 가지고 독립적으로 작업한다.

각각의 결과가 나오면 메인 Agent가 다시 비교하고 합친다. 여러 방향으로 작업을 fan-out하고, 결과를 하나의 판단과 결과물로 fan-in하는 구조다.

사이드 채팅과 에이전트 스웜은 주도하는 사람이 다르지만 같은 원리를 가진다. 사이드 채팅에서는 사용자가 맥락을 분기한다. 스웜에서는 Agent가 목표를 분해하고 역할에 맞는 맥락을 전달한다. 둘 다 하나의 긴 대화에 모든 것을 밀어 넣는 대신, 필요한 맥락을 독립된 작업 공간으로 나눈 뒤 다시 합친다.

프롬프트보다 컨텍스트와 작업 구조가 중요해진다

이 경험을 통해 LLM을 잘 쓴다는 것이 좋은 프롬프트 하나를 작성하는 일만은 아니라는 생각이 들었다. 더 중요한 것은 작업을 어떤 구조로 나누고, 각 작업에 어떤 맥락을 주며, 결과를 어떻게 다시 통합할지를 설계하는 일일 수 있다.

사용자의 역할도 달라진다. 모든 질문에 직접 답을 얻으려는 사람이 아니라, 무엇을 메인 흐름에 남길지, 무엇을 별도로 탐색할지, 어떤 작업을 병렬로 맡길지, 결과가 충돌할 때 무엇을 선택할지를 결정하는 사람이 된다.

AI 활용의 단위가 하나의 프롬프트에서 하나의 컨텍스트로, 다시 여러 컨텍스트가 연결된 작업 구조로 확장되는 느낌이다. 대화에서 오케스트레이션으로 이동한다고 표현할 수 있을 것 같다.

다만 이 생각은 별도의 주제로 더 풀어볼 만하다. 앞으로 AI를 활용하는 능력은 질문을 잘 쓰는 능력뿐 아니라 다음을 판단하는 능력까지 포함하게 될 것 같다.

• 이 작업에는 어떤 맥락이 필요한가?
• 무엇을 독립된 대화나 Agent로 분기할 것인가?
• 각 작업은 어떤 역할과 범위를 가져야 하는가?
• 나온 결과를 누가 어떤 기준으로 비교하고 합칠 것인가?
• 최종 판단과 책임은 어디에 남아 있는가?

LLM을 극적으로 활용하는 방법은 하나의 채팅을 끝없이 이어 가는 것이 아니라, 맥락을 의도적으로 분기하고 각 공간에서 생각과 작업을 발전시킨 뒤 다시 하나의 판단으로 모으는 것인지도 모른다.