한 이용자가 서비스 변경을 요청했습니다. AI가 문의 내용을 읽고 이전 상담 기록을 찾고, 담당자에게 전달할 요약과 답변 초안을 만들었습니다. 여기까지는 도움이 됩니다. 그런데 AI가 고객에게 변경이 확정됐다는 메시지까지 보낸다면 어떨까요? 일정과 비용, 현장 인력의 가능 여부를 확인하기 전이라면 작은 편의가 큰 혼란이 됩니다.
AI 에이전트는 질문에 답하는 데 그치지 않고 목표에 따라 여러 단계를 계획하고 도구를 사용해 일을 진행할 수 있습니다. 지금 조직에 필요한 것은 “어디까지 자동화할까”라는 구호보다 무엇을 읽고, 무엇을 제안하며, 어떤 행동은 사람의 확인 뒤에 하도록 할지 정하는 일입니다.
답변을 만드는 AI에서 행동하는 AI로
기존의 AI 활용은 회의록 요약, 안내문 초안, 자료 정리처럼 사람이 결과를 받아 다음 일을 하는 경우가 많았습니다. 에이전트형 업무는 도구와 연결되어 자료를 조회하고, 단계를 이어 실행하거나 다음 행동을 제안합니다. 기술 기업들의 최근 연구와 사례도 AI를 조직의 실제 업무 흐름에 통합하는 방향을 다룹니다. 다만 이를 모든 조직에서 이미 안전하게 자동 처리할 수 있다는 뜻으로 받아들여서는 안 됩니다. Microsoft, 2026 Work Trend Index 해설
사회서비스 조직의 고객 문의를 예로 들어 보겠습니다. 접수한 말을 분류하고 필요한 정보를 찾아주는 일과, 이용자에게 약속하거나 서비스 내용을 바꾸는 일은 성격이 다릅니다. 뒤의 행동에는 현장 사정, 개별 상황, 조직의 책임이 함께 걸립니다.
이 도식은 서비스 변경처럼 대외 약속이 생기는 업무의 권장 설계 예시입니다. 위험이 낮은 내부 작업까지 모든 단계를 일률적으로 승인하라는 뜻은 아닙니다.
업무 경계선은 ‘기능’보다 ‘권한’으로 그립니다
같은 AI라도 읽기만 하는지, 내부 기록을 수정하는지, 외부에 메시지를 보내는지에 따라 위험이 달라집니다. 처음에는 조회와 초안 작성부터 시작하고, 수정·발송·결제처럼 실제 상태를 바꾸는 권한은 업무별로 따로 정하는 편이 명확합니다.
| 업무 단계 | AI에 맡길 수 있는 일 | 사람이 확인할 일 |
|---|---|---|
| 접수 | 문의 유형 분류, 빠진 정보 표시 | 긴급·민감 사안인지 확인 |
| 조회 | 허용된 매뉴얼과 이전 기록에서 근거 찾기 | 자료의 최신성·접근 권한 확인 |
| 초안 | 담당자용 요약과 답변 초안 만들기 | 사실·어조·개별 사정 검토 |
| 결정 | 가능한 선택지와 예외 사항 제안 | 서비스 변경, 비용, 책임 판단 |
| 실행 | 승인된 내용 기록, 후속 일정 알림 | 대외 발송과 변경 승인, 결과 점검 |
이 표는 법적 기준이나 모든 기관에 똑같이 적용되는 규칙이 아니라, 조직이 자기 업무에 맞게 조정할 출발점입니다. 개인정보와 민감 정보는 도구에 넣기 전에 사용 목적·접근 범위·보관 방식을 먼저 확인해야 합니다.
사람이 마지막에 ‘확인’만 하면 충분할까요
담당자가 AI의 답변을 무심코 승인하면 승인 단계는 형식만 남습니다. 담당자가 확인할 수 있도록 AI가 어떤 자료를 참고했는지, 무엇을 모르는지, 왜 이 담당자에게 넘겼는지 보여줘야 합니다. 승인·수정·중단 기록도 남아야 같은 실수를 다음에 고칠 수 있습니다.
NIST의 AI 위험관리 프레임워크는 사람의 감독 절차를 조직 정책에 맞게 정의하고 문서화할 것을 제시합니다. 또한 역할과 책임, 지속적인 모니터링을 강조합니다. 이는 도구를 도입하는 순간뿐 아니라 운영 중에도 기준을 고쳐야 한다는 뜻입니다. NIST AI RMF Core
AI가 외부 문서나 고객이 보낸 내용을 읽을 때는 그 안의 문장을 업무 지시처럼 잘못 따를 위험도 있습니다. OWASP는 이를 프롬프트 주입 위험으로 다루며, 영향이 큰 행동에는 사람의 승인과 권한 제한을 권고합니다. OWASP, Prompt Injection
근거를 볼 수 있는가 · AI의 불확실성을 알 수 있는가 · 잘못된 실행을 멈추고 되돌릴 수 있는가
첫 시범은 작고 되돌릴 수 있는 일에서 시작합니다
첫 에이전트에게 상담부터 계약, 정산까지 모두 맡기기보다 반복적이고 결과를 쉽게 검토할 수 있는 한 단계부터 고르세요. 예를 들면 “문의가 들어오면 유형을 분류하고 담당자용 요약을 만든다”는 업무입니다. AI가 고객에게 직접 답하거나 원본 기록을 바꾸지 않는 범위에서 먼저 시험할 수 있습니다.
- 업무를 한 문장으로 정합니다. 입력, 기대하는 결과, 제외할 일을 씁니다.
- 자료 범위를 정합니다. 어떤 매뉴얼과 기록을 읽을 수 있는지 제한합니다.
- 판단선을 정합니다. 불확실한 내용, 긴급 사안, 비용·권리 변경은 담당자에게 넘깁니다.
- 실제 사례로 검토합니다. 비식별 처리한 과거 문의를 이용해 분류 오류와 누락을 확인합니다.
- 효과와 부담을 함께 봅니다. 처리 시간뿐 아니라 수정 시간, 잘못된 분류, 이용자에게 미친 영향을 기록합니다.
AI 에이전트의 자율성을 측정한 연구에서도 감독은 모든 작은 행동에 승인 버튼을 넣는 일만으로 해결되지 않는다고 설명합니다. 사용자가 AI의 진행을 볼 수 있고, 필요할 때 방향을 바꾸거나 중단할 수 있어야 합니다. Anthropic, Measuring AI Agent Autonomy in Practice (2026)
마지막 책임은 조직의 일하는 방식에 남습니다
AI가 답변 초안을 빨리 만들수록 사람의 일은 사라지기보다 달라집니다. 담당자는 문장을 처음부터 쓰는 시간 대신, 예외 상황을 판단하고 약속을 확인하며 이용자에게 미칠 결과를 살피는 데 시간을 써야 합니다. 조직은 그 시간을 업무로 인정하고 검토 기준과 교육을 마련해야 합니다.
에이전트 도입의 출발점은 최신 도구를 사는 일이 아닙니다. 한 업무의 흐름을 펼쳐 놓고 AI가 할 일, 사람이 판단할 일, 기록으로 남길 일을 나누는 것입니다. 경계선이 명확할수록 AI는 조직의 판단을 흐리는 지름길이 아니라 현장의 판단을 돕는 도구가 됩니다.
NIST AI Risk Management Framework Core · OWASP LLM01:2025 Prompt Injection · Anthropic (2026), Measuring AI Agent Autonomy in Practice · Microsoft (2026), Work Trend Index 해설