"현실적인 AI 에이전트의 실무화" Dify와 인사이트를 공개한 공식파트너 오픈네트웍시스템
AISE2025 무대에서 Dify를 소개한 오픈네트웍시스템
2025.11.10 AISE2025 행사 첫 날, 그리고 오전 10시인 첫 무대에 오픈네트웍시스템이 올랐습니다. 국내 최초 Dify 공식 파트너로서 그 핵심 기술과 실제 적용사례를 발표하며 큰 주목을 받았습니다. 발표시간이 20분이지만 만석이된 발표장 좌석과 입구까지 늘어선 인파로 현장은 이른 시간부터 뜨거웠습니다.
현장에서 함께하지 못했던 분들을 위해 발표 당시의 내용들을 아래에 담았으니 실무를 위한 AI에이전트를 고민하고 있거나 관심이 있다면 참고해 보면 좋을 것 같습니다.
서론
실제로 AI를 도입하는 많은 기업들의 고민은 "모델은 많고, 기술은 상향 평준화, 그치만 실무에 적용하기가.." 이유는 모델 훈련, 배포, 유지보수를 위한 MLOps환경이 필요하고 운영을 위해 데이터팀, 인프라팀, 각종 엔지니어가 모두 완벽히 협업이 되어야 하기 때문이죠.
결국은, "아직 우리 기업에 AI에이전트는 멀다." 라고 결론 짓습니다.
결론은, Dify는 이러한 Pain-Point를 위해 개발되었습니다.
Dify란, AI 모델을 서비스로 전환시키는 LLMOps 플랫폼이다.
그 특징으로는,
No-code Workflow Bulider : Drag & Drop 의 시각적, 직관적인 방식으로 AI 에이전트를 설계
Dataset Builder : 문서, CSV, 내부 FAQ 등 다양한 데이터셋을 업로드해 모델 지식을 강화
Prompt Templete System : 팀 단위로 프롬프트를 관리하고 버전별 실험 가능
Multi-Model Gateway : OpenAI, Anthropic, Google Gemini, Claude 등 다양한 LLM을 Dify 한 곳에서 연결 가능
이와 같은 기능으로 AI모델을 단순히 생성하는 수준이 아닌 실제 서비스에 연결, 운영, 관리하는 단계까지 모든 과정을 지원합니다.
기본적으로 코딩 없이 클릭과 드레그/드랍 몇번으로 최근 유행하는 AI툴, 심지어 디자인툴을 사용할 수 있는 실무자라면Dify로 AI에이전트를 설계하고 실제 서비스로 연결할 수 있습니다.
MLOps 개념에서 발전한 LLMOps 플랫폼 그 차이에서 기회를 본 Dify
MLOps와 LLMOps의 기본적인 차이로는 MLOps는 모델을 학습시키는 단계이며LLMOps는 학습된 모델을 어떻게 실무화 시킬 수 있을지에 집중되어 있습니다.
Dify는 Ops(Operations)영역을 완벽히 시각화해 노코드로 직관적인 방식으로 AI에이전트를 빠르게 서비스할 수 있는 환경을 제공하고 있습니다.
멀티모델 지원_OpenAI, Anthropic, Gemini, Claude 등
이 외에 여러 LLM을 동시에 연결해 사용할 수 있습니다.
여러 멀티모델을 하나의 워크플로우 안에서 조합해 쓸 수 있어 사용자 경험, 개발 방향과 사업, 용도에 맞는 모델을 선택해 최적의 모델로 구축할 수 있는 '하이브리드 LLMOps 환경'이라 할 수 있습니다.
LLMOps 생태계 트렌드
현재 LLMOps 생태계에서는 RAG, PromptOps, Vector Database, AI Governance 같은 키워드가 주목 받고 있는데요,
Dify는 이 모든 흐름속에 있습니다.
RAG: Dify의 Database Builder와 직접 연결
PromptOps : 프롬프트 버전관리와 템플릿 공유 지원
VetorDB : 자체 임베딩 기반의 검색엔진 탑재
Governence : 사용자 접근 권한과 로그 관리로 투명한 AI 운영 구현
현재 이 키워드의 트렌드는 단순히 AI 분야 일부에 있는 흐름이 아닙니다.
민첩하게 변화하는 AI 운영 체계가 기업의 경쟁력으로 직결될 수도 있는 큰 흐름입니다.
상위 내용 참고 자료 : Dify 공식자료 [링크]
Dify Use Case
1. 사내 정보 검색
AISE2025 전시관 현장에서도 가장 많은 질문 중 하나,
"현재 회사 내부의 데이터로 AI 에이전트를 개발할 수 있나요?"
Dify엔 Dataset Management 기능이 있어 기업의 내부 문서, 고객 상담 데이터, 기술 자료등을 업로드하면 그 지식을 기반으로 AI 에이전트가 응답 가능할 수 있습니다.
예를 들어, "지난 상반기 프로젝트 비용 리포트 요약해줘" 라고 한다면 실제 사내 데이터 내에서 필요한 내용을 찾아 요약해 보여주는 방식입니다.
현재는 Notion, Slack, Google Drive 와 같은 협업툴과도 연동할 수 있어 기존 업무 환경 안에서 바로 활용이 가능합니다.
2. 오피스 AI 헬퍼
오피스 AI 헬퍼로 활용해 개인 AI 헬퍼로 AI가 개인 비서처럼 일정, 메일 등 다양한 업무를 대신 정리해주고 우선 순위에 따라 배정된 일정을 정리해줘 효율적인 업무가 가능합니다.
이로인해 동일 반복 작업 등 불필요한 업무 처리 시간을 최대한 절약하고 마감일이 명시되어 있는 업무 등 중요한 업무는 미리 알려주는 기업 또는 나만의 AI헬퍼로 활용할 수 있습니다. 또한, On-premise 환경으로 기업 보안 기준에 따라 모든 데이터는 안전하게 보관/활용 됩니다.
3. LLM 벤치마크 자동화
여러 모델을 동일한 입력 조건에서 테스트해 응답 품질, 생성 속도, 비용 효율 등을 자동으로 비교할 수 있습니다.
워크플로우 기반의 Evaluation Pipline으로 구성돼 있는데, 모델별로 동일한 프롬프트를 입력하고 자체적으로 자동평가 또는 관리자가 스코어링해 점수를 기록할 수 있습니다.
이를 통해 결정권자는 '우리의 팀 또는 사업 모델에는 어떠한 LLM모델이 적합하고 효율적인지 정확하게 비교/판단할 수 있습니다.
실제 R&D 또는 PoC 과정에서 모델 교체 테스트를 반복해야 하는 팀들에게 운영 효율을 대폭 높여줄 수 있는 LLMOps 단계에서의 모델 선택 및 품질관리 자동화 시스템입니다.
4. PromptOps 및 마케팅 자동화
Dify의 Prompt Template 기능은 단순히 프롬프트를 관리할 뿐만 아니라 PromptOps 을 구현한 것과 다름없는데요,
팀단위로 프롬프트를 저장, 공유, 버전관리가 가능하며 실험 데이터를 통해 프롬프트 성능을 비교할 수 있습니다.
이러한 기능을 응용해 마케팅 부서에서도 실제 활용되고 있는데 다국어 광고 카피, SNS 문구, 이메일 콘텐츠를 기업과 브랜드 톤에 알맞게 자동 생성할 수 있습니다.
발표 이후 현장의 반응과 부스에서의 깊어진 문의와 대화
11/10 - 11 이틀 간 정말 많은 방문객들께서 저희 부스를 방문해 주셔서 여러 종류의 문의를 주셨는데요,
구분하자면 [Dify 도입 전으로 도입을 고민하거나 타사들과 비교하고 있는 고객층]과, [Dify를 활용하고 있거나 사용 경험이 있는 고객층]으로 나누어 볼 수 있었습니다.
도입 전 Dify에 대해 궁금해 하며 문의 주셨던 내용은 역시 Use case관련 문의였습니다. 간단히 본인의 회사, 조직을 소개해주며,
"현재 개발팀과 구성원의 규모는 00명인데, AI에이전트를 개발하고 운영할 수 있을까요?"
"현재 내부 문서 또는 비공개되어 있는 중요 문서 등으로 사내용 챗봇을 만들어도 괜찮나요?"
결국 "우리도 사용이 가능할까요?" 라는 질문이 지배적이었는데요,
이 질문들에 답변은 모두 YES로 명확했습니다.
Dify는 웹 UI 중심의 사용자 친화적 노코드/로우코드 환경을 제공하고 문서, PDF, 마크다운 등 다양한 데이터 형식으로 컨텍스트를 구성이 가능하며 기업 보안 기준에 맞춰 보안 정책에 위배되는 데이터 반출이 되지 않습니다.
이러한 답변을 드리며 이로서 Dify의 정체성과 편의성을 다시한번 강조할 수 있는 기회가 되었으며 Dify를 과거 사용해본 경험이 있거나 현재 사용 중인 고객층의 문의는 현재 Dify의 모델의 구조 및 정책 그리고 앞으로의 개발 방향성에도 관심을 가져주셨는데요,
"어떤 모델을 사용하고 있나요?"
"내부 RAG + 문서 인덱싱은 가능한가요?"
"자체 데이터에 관한 보안과 운영은 어떻게 하나요?"
이와 같이 활용할 데이터가 구체적이고 민감한 정보 또는 기밀 데이터가 많은 기업에서 많은 궁금증을 가지고 계셨고 기능, 기술적인 강점보다는 보안성, 내부 운영 정책 등이 중요한 기업 및 기관에서 긍정적인 반응이 많았습니다.
Dify의 방향성 그리고 발표 후기
과거에 LLM을 단순한 형태로 보는 관점과 달리 2025년, 그리고 2026년의 AI트랜드의 흐름에서는 LLMOps 로서 실무 적용의 적합성, 운영 체계, 채널과 툴의 확장성 그외 비용과 보안 등 기업의 니즈와 시장의 니즈 모두를 충족시킬 수 있는 밸런스가 핵심으로 떠오르고 있습니다.
이러한 변화 속에서 Dify는,
사용자 친화적 UI&UX 기반의 직관성(기술 접근성), 풍부한 인프라 및 멀티 모델, 유연성 등 기업이 AI 에이전트를 발빠르게 도입하기 위해서 필요한 요소들을 밸런스 있게 충족할 수 있는 Agentic AI 생태계의 기반이자 허브로 나아가고 있습니다.
위와 같은 내용으로 AISE2025에서 Dify와 공식 파트너 오픈네트웍시스템은 현재의 AI 트렌드, 국내와 글로벌 시장 동향, 그리고 Dify의 현주소에 대한 인사이트를 아낌없이 공유하는 자리를 가졌습니다.
행사 기간 동안 수많은 분들이 부스를 찾아주셨고, 각자의 AI 도입 고민과 현실적인 질문을 남기고 가셨습니다.
“우리 조직은 AI를 어디서부터 시작해야 할까?”,
“데이터가 많지 않은데 가능할까?”,
“속도보다 정확성과 보안이 더 중요한데, 방법이 있을까?”
이러한 공통적이고 현실적인 질문들이 발표 이후에도 기억될 정도로 가득 채웠습니다.
그렇지만 어쩌면 대답으로는 이 한 문장으로 요약이 될지도 모릅니다.
“ AI 도입과 그 성공은 속도가 아니라, 고민의 깊이에서 결정됩니다. ”
빠르게 AI를 따라잡는 것도 중요하지만,
우리 조직이 왜 AI를 필요로 하는지, 어떤 문제를 해결하고 싶은지에 대한 깊은 고민이 먼저입니다.
그 방향이 명확해진다면,
그 다음은 Dify와 함께 현실적인 개발과 운영은 누구보다 빠르게 진행될 수 있습니다.
작성자 ㅣ 권태규