MLOps는 끝났다, 이제 AgentOps 시대다
작년까지만 해도 MLOps와 LLMOps의 차이를 설명하는데 시간을 많이 썼습니다. 그런데 2026년, 대화의 중심이 완전히 변화하고 있습니다. 가트너 리포트에 따르면 2026년 말까지 전사 애플리케이션의 40%가 특정 작업에 최적화된 AI 에이전트를 통합할 것으로 전망됩니다. 2025년 초 5% 미만이었던 것과 비교하면 놀라운 성장세입니다.
여기서 중요한 건 단순히 LLM을 잘 운영하는 것만으로는 부족하다는 겁니다. Deloitte는 2027년까지 생성형 AI를 사용하는 기업의 50%가 AI 에이전트를 배포할 것으로 예측했는데, 이는 LLMOps의 다음 진화 단계인 AgentOps의 필요성이 강조되고 있음을 의미하고 있습니다.
제가 최근 AI트렌드를 따르다가 느낀 점은 다음과 같습니다. LLMOps가 모델의 성능 최적화에 집중했다면, AgentOps는 자율적 의사결정, 자가 최적화, 그리고 다중 에이전트 간 조율(orchestration)까지 관리해야 한다는 것이죠. 모델을 잘 튜닝하는 것과 여러 에이전트가 협업하면서 스스로 판단하고 실행하는 시스템을 운영하는 건 완전히 다른 영역입니다. 다음 주제에서 조금 더 깊게 다루어 보겠습니다.
로컬 도구가 아닌, 클라우드를 넘나드는 협업 주체
2026년의 가장 흥미로운 변화는 Agent2Agent(A2A) 프로토콜의 등장입니다. Google Cloud가 주도하고 Salesforce, ServiceNow, Microsoft 등 150개 이상의 조직이 참여한 이 프로토콜은 Linux Foundation으로 기부되어 오픈 표준으로 자리잡았습니다.
왜 이게 중요할까요? 지금까지 우리는 하나의 플랫폼, 하나의 프레임워크 안에서 에이전트를 만들었습니다. LangChain으로 만든 에이전트, Autogen으로 만든 에이전트, 그리고 각 클라우드 벤더의 독자적인 에이전트들이 저마다의 생태계 안에 갇혀있었죠.
A2A는 이 장벽을 허무는 시도입니다. 마치 HTTP가 웹의 표준 프로토콜이 되었듯이, A2A는 에이전트들이 서로 대화하고 협업할 수 있는 공통 언어를 제공합니다. 실제로 Salesforce와 Google Cloud는 A2A 프로토콜을 활용해 크로스 플랫폼 에이전트를 구축하고 있으며, 이는 단순한 데이터 교환이 넘어 의도(intent) 파악, 신뢰 검증, 협상까지 가능한 수준입니다.
이런 흐름은 2026년에 더욱 가속화될 것으로 보입니다. 자동차를 구매할 때 당신의 개인 AI 에이전트가 딜러십의 에이전트와 협상하는 동시에, 보험사, 대출 기관, 정비 서비스의 에이전트들과도 동시에 소통하는 시나리오를 상상해보세요. 각 에이전트는 서로 다른 회사, 다른 클라우드, 다른 프레임워크로 만들어졌지만 A2A 프로토콜을 통해 원활하게 협업합니다.
Dify의 전략적 포지셔닝: 빠른 배포와 프로덕션 준비 사이
에이전트 개발 도구 시장에서 Dify는 흥미로운 위치를 점하고 있습니다. 어쩌면 무서울정도로 예리한 대비를 하고 있는데요. 최근 v1.10.1에서는 보안 강화를 위해 non-root 사용자로 API 이미지를 실행하도록 변경했고, Weaviate 클라이언트를 v4로 업그레이드하면서 gRPC 지원을 통해 더 빠른 작동을 가능하게 했습니다.
무엇보다 주목할 만한 건 Dify가 MCP(Model Context Protocol)를 네이티브로 통합했다는 점인데요. 이는 어떤 MCP 서버든 도구로 사용하거나, Dify 에이전트와 워크플로를 MCP 서버로 노출할 수 있다는 이야기 입니다. 2026년을 바라보는 Dify의 전략은 명확합니다. A2A가 에이전트 간 협업을 위한 프로토콜이라면, MCP는 에이전트가 외부 도구와 데이터에 접근하는 표준입니다. Dify는 두 프로토콜 모두를 지원하면서 "build with any framework, equip with MCP, communicate with A2A"라는 생태계의 중심에 서려는 움직임을 보이고 있습니다.
여름 업데이트(v1.7-v1.8)에서는 OAuth 통합, 다중 자격 증명 관리, 향상된 워크플로 도구를 선보였고, 곧 공개될 Visual RAG 파이프라인은 멀티모달 처리 능력을 크게 향상시킬 것으로 예상됩니다. 180,000명 이상의 개발자 커뮤니티를 보유한 Dify는 빠른 프로토타이핑과 엔터프라이즈급 배포 사이의 간극을 메우는 도구로 자리매김하고 있습니다.
실전 사례: 에이전트가 실제로 무엇을 바꾸고 있나
이론적인 얘기는 그만하고, 실제로 무슨 일이 벌어지고 있는지 볼까요? 국내 기업 중, 특히 눈에 띄는 기업이 있습니다.
SK이노베이션은 Microsoft Azure 기반 생성형 AI 플랫폼을 도입해 정유·석유화학 분야의 엔지니어링 자료 검색과 분석, 데이터 처리를 자동화했습니다. 파워 오토메이트,
Azure OpenAI, Teams를 연계해 반복 업무를 자동화하고 지능형 워크플로우를 구축했죠. 과거 몇 시간씩 걸리던 작업이 이제는 몇 분으로 단축되고 있습니다.
한화큐셀은 태양광 및 에너지 저장소 허가 문서 분석, 에너지 절감 효과 예측, 그리드 서비스 수익 예측 등에 AI 에이전트를 활용합니다. '정기회의체 보고서 에이전트', '환경법규 검토 에이전트' 등을 운영하며, 현재는 자율형 AI 에이전트(Autonomous AI Agent)로 발전시키고 있습니다. 실제로 AI 기반 시뮬레이션과 자동화된 워크플로우를 통해 시장 출시 속도가 30% 이상 향상되었고, 에너지 비용 절감과 탄소 배출 감소라는 실질적 성과도 달성했습니다.
LG전자 HS본부는 Azure OpenAI 기반 빅데이터 분석 AI 플랫폼 '찾다(CHATDA)'를 개발했습니다. 글로벌 수천만대 가전제품에서 수집되는 방대한 데이터를 분석해 제품 품질을 개선하고 고객 인사이트를 확보하는데, 최근 에이전틱 AI 컨셉을 적용해 질문 분류, 코드 생성, 답변 자동화까지 서비스 품질을 한 단계 높였습니다.
삼성전자는 자체 개발한 생성형 AI '삼성 가우스'를 통해 이메일 초안 작성, 문서 요약, 번역 등을 자동화했고, AI 코딩 에이전트 '코드아이(code.i)'로 사내 소프트웨어 개발 생산성을 극적으로 향상시켰습니다. 보안 문제로 외부 AI 대신 자체 개발을 선택한 사례로 주목받고 있죠.
금융권에서는 KB라이프가 Microsoft 365 코파일럿을 전직원 대상으로 도입해 문서 처리, 회의록 작성, 일정 관리 등 핵심 업무 효율을 높였고, 최근에는 맞춤형 에이전트 개발을 통해 활용 범위를 넓혀가고 있습니다.
여기서 놓치면 안 되는 인사이트: Jagged Performance의 함정
하지만 모든 게 장점이고 AI와 비단길을 걷고 있는 것은 아닙니다. Salesforce의 CTO가 지적한 "jagged performance" 문제는 2026년에도 여전히 중요한 과제입니다. 가장 진보된 LLM조차도 사람 이름의 철자를 세는 데 어려움을 겪으면서, 동시에 재고 관리나 금융 조정 같은 미션 크리티컬한 작업을 처리하도록 요구받고 있습니다.
이건 단순히 모델의 문제가 아닙니다. 에이전트의 성능이 예측 불가능하게 불균일하다는 것은, 엔터프라이즈 배포에서 치명적인 약점이 될 수 있습니다. 그래서 2026년의 핵심 키워드 중 하나가 EGI(Enterprise Grade Intelligence)입니다.
McKinsey의 연구에서 특히 흥미로웠던 부분은 "Gen AI 역설"입니다. 거의 80%의 기업이 생성형 AI를 사용한다고 보고하지만, 동시에 같은 비율의 기업이 의미 있는 재무적 성과를 보지 못했다고 답했습니다. 이는 수평적 코파일럿(범용 챗봇)이 빠르게 확산되었지만 측정 가능한 가치는 모호하고, 진정한 변혁을 가져올 수직적 유즈 케이스(특정 기능에 특화)의 90%가 여전히 파일럿 단계에 갇혀있기 때문입니다.
에이전트는 이 간극을 메우는 접착제라 할 수 있습니다. 복잡한 비즈니스 워크플로를 자동화함으로써 수직적 유즈 케이스의 잠재력을 발현시킬 수 있습니다. 하지만 이를 실현하려면 작업 흐름의 재설계, 인간 역할의 재정의, 그리고 에이전트 중심 프로세스를 처음부터 구축하는 근본적인 변화가 필요합니다.
연구 최전선: Test-Time Reasoning의 혁신
학계에서 가장 주목받는 연구 방향은 "test-time reasoning"입니다. OpenAI의 o1 모델, DeepSeek의 R1 모델은 답을 내놓기 전에 단계별로 상세한 사고 과정을 생성하는 방식으로 수학, 과학, 코딩 작업에서 비약적 성능 향상을 보였습니다.
더 흥미로운 건 최근 연구 논문 "On the Emergence of Thinking in LLMs"입니다. 이 연구는 LLM이 단순히 다음 단어를 예측하는 것을 넘어, 적절한 강화학습과 검증 가능한 보상 시스템이 주어지면 진정한 의미의 "추론"에 가까운 능력을 발현시킬 수 있음을 보여줍니다.
MIT Sloan의 연구자들은 생성형 모델이 "진실"보다 "그럴듯함"을 최적화한다는 점을 지적하며, RAG(Retrieval-Augmented Generation)와 사후 검증의 중요성을 강조했습니다. 이는 2026년에 RAG가 더 이상 선택이 아닌 기본(baseline)이 되었다는 업계 공감대와 일치합니다.
또 한 가지 눈에 띄는 연구는 "Data Shapley in One Training Run"입니다. 이 기법은 어떤 학습 데이터가 AI 시스템에 유익했는지 해로웠는지를 정확히 추적할 수 있게 해줍니다. 저작권 이슈가 뜨거운 요즘, 특정 능력이 어떤 데이터로부터 영향받았는지 추적하는 건 법적, 윤리적으로 매우 중요한 능력입니다.
2026년, 준비해야할 액션 플랜
이론적 전망만큼이나 중요한 건 실행 가능한 액션 플랜 몇가지를 준비해봤습니다.
2026년을 맞이하며 조직이 고려해야 할 To do list.
1. 단일 에이전트를 넘어서라: 하나의 완벽한 범용 에이전트를 만들려고 하지 마세요. 특정 작업에 특화된 여러 에이전트를 조율하는 방식이 더 효과적입니다. Google의 보고서에 따르면 57%의 조직이 이미 다단계 워크플로에 에이전트를 배포하고 있으며, 16%는 여러 팀에 걸친 크로스 기능 프로세스를 실행하고 있습니다.
2. 오픈 프로토콜에 베팅하라: 벤더 종속을 피하고 싶다면 A2A, MCP 같은 오픈 프로토콜을 지원하는 플랫폼을 선택하세요. 2~3년 뒤 에이전트 생태계가 어떻게 진화할지 아무도 모릅니다. 유연성이 생존의 열쇠입니다.
3. 거버넌스는 나중이 아니라 지금: 에이전트가 자율적 결정을 내리기 시작하면, 규제 준수는 선택이 아닌 필수입니다. EU AI Act가 2026년까지 완전히 시행되면서, 검증 가능한 신뢰성 있는 AI는 경쟁 우위가 될 것입니다. 컴플라이언스를 비용 센터가 아닌 성장 동력으로 보는 관점 전환이 필요합니다.
4. 인력 재교육에 투자하라: AI 에이전트는 일자리를 대체하는 게 아니라 역할을 재정의합니다. 2026년에는 AI를 구매하는 것에서 AI-ready 인력을 구축하는 것으로 초점이 이동할 것입니다. 일회성 교육이 아닌, 지속적이고 적응 가능한 학습 계획이 필수입니다.
5. 작게 시작해서 빠르게 검증하라: Pilot hell에 빠지지 마세요. 한두 개의 명확한 유즈 케이스로 시작해서 빠르게 ROI를 증명하고 스케일하는 게 답입니다. Anthropic의 조사에서 이미 80%의 조직이 측정 가능한 ROI를 보고하고 있습니다.
마무리: 2026년은 선택의 기로
2023년은 놀람의 해였고, 2024년은 실험의 해였습니다. 그렇다면 2026년은 무엇일까요? 저는 "실행의 해"가 될 거라고 전망하고 있습니다.
AI 에이전트는 더 이상 미래 기술이 아니며, 실제 사무실 곳곳에 이미 존재하고, 실제 기업의 가치를 만들어내고 있으며, 현재 “최종 시안” 같지만 더더욱 빠르게 진화하고 있습니다.
2026년은 올해와 달리 "에이전트를 도입할 것인가"가 아니라 "어떻게 전략적으로 확장할 것인가"를 고려해야 할 것입니다. AgentOps 인프라를 구축하고, 오픈 프로토콜에 투자하며, 조직의 프로세스를 에이전트 중심으로 재설계하는 작업은 지금부터라도 시작해 준비가 되어있어야 합니다.
그리고 Dify와 같은 Agentic AI 플랫폼들이 제공하는 생산성 도구들은 이 흐름을 가속화하는 레버리지가 될 것입니다. 다시 말하지만 중요한 건 도구를 선택하는 게 아니라 우리 조직만의 준비와 그에 알맞는 방향을 정하는 것입니다.
2026년, 당신의 조직은 AI 에이전트와 어떻게 함께 일하고 있을까요? 2026년을 코앞에 둔 시점인 지금이 그 답을 만들 수 있는 출발점이지 않을까요.
참고자료 및 더 읽어보기
산업 리포트 및 전망
오픈 프로토콜 및 표준
최신 연구 논문
개발 플랫폼 및 도구
규제 및 거버넌스
오픈네트웍시스템 ㅣ 권태규