Dify 심화 (2): Notion & Google Drive 연동 챗봇
이번 실습에서는 Notion과 Google Drive에 있는 문서를 지식으로 등록하여 RAG를 구성해 보겠습니다.
Notion
1단계: 데이터 소스 설정
설정의 데이터 소스 탭에서 Notion과 Google Drive 등을 통해 문서를 가져올 수 있도록 사전 구성을 진행해야 합니다.
먼저 Notion을 연동해 보겠습니다.
Notion의 API 설정 페이지로 이동하여 새로운 통합을 만듭니다.
원하는 API 통합 이름을 설정하고 지식으로 가져올 문서가 포함된 워크스페이스를 선택합니다.
저장을 누르면 새로운 API 통합이 생성될 것입니다.
여기에 있는 API 통합 이름과 API 통합 비밀 키가 필요합니다.
Dify의 데이터 소스 탭에서 Notion을 선택하고 API 키 추가하기를 누릅니다.
Notion에서 발급받은 API 통합 이름과 통합 비밀 키를 등록합니다.
Dify에서 문서를 가져올 수 있도록, Notion API를 설정한 곳에서 지식으로 등록할 문서의 접근 권한을 추가해 주어야 합니다.
2단계: 지식 등록
이제 Notion에 있는 문서를 dify의 지식으로 등록합니다.
Notion 동기화 버튼을 클릭해 방금 등록한 API를 통해 접근 가능한 Notion 페이지 목록에서 ‘제주도 여행’ 문서를 선택합니다.
근로기준법 RAG를 만들었던 과정과 동일하게, 이 ‘제주도 여행’ 문서도 청크를 설정하고 벡터 DB에 임베딩하는 과정을 거칩니다.
3단계: 채팅플로우 생성 및 테스트
채팅플로우를 생성하고 시작노드에 방금 등록한 ‘제주도 여행’ 지식을 연결합니다.
지식 검색 결과를 LLM에 넣고 세 줄로 요약해 달라고 요청합니다.
LLM에게 질문을 하면 ‘제주도 여행’ 문서에 대한 답변을 잘해주는 것을 확인할 수 있습니다.
Google Drive
1단계: 데이터 소스 설정
Notion과 마찬가지로 Dify에서 Google Drive에 접근할 수 있도록 인증을 설정해야 합니다.
OAuth 클라이언트 설정
Dify 설정의 데이터 소스 탭에서 Google Drive를 선택합니다.
OAuth 클라이언트 설정을 클릭하고, 하단의 ‘Get your Integration token from the Google OAuth Integration page’를 클릭하여 Google 개발자 콘솔로 이동합니다.
Client ID 및 Client Secret 생성
Dify 연동
2단계: 지식 파이프라인 구축 및 지식 등록
Google Drive는 기존의 지식 생성과 다른 방식을 사용합니다.
지식 탭에서 ‘지식 파이프라인에서 만들기’ 버튼을 클릭합니다.
‘빈 지식 파이프라인’을 클릭하면 데이터 소스 노드와 기술 자료 노드가 기본으로 생성됩니다.
데이터 원본 추가에서 Google Drive를 선택하여 문서를 가져올 Google Drive 노드를 연결합니다.
Google Drive 문서를 청크 설정 전에 텍스트로 추출해야 하므로, 다음으로 Doc 추출기 노드를 연결합니다.
추출된 문서의 청크를 설정하고 벡터DB에 임베딩시키기 위해 General Chunker 도구를 연결합니다.
(청크 설정은 Notion에서 문서를 가져와서 했던 설정과 동일하게 지정합니다.)
마지막 기술 자료 노드에서 청크 구조, 인덱스 모드, 임베딩 모델, 검색 설정, 재랭크 모델을 설정하면 지식 파이프라인 구성이 완료됩니다.
파이프라인이 완성되면, 파일 추가 버튼을 눌러 Google Drive 폴더에 있는 ‘제주도 여행’ 문서를 선택합니다.
파이프라인에서 설정했던 청크 기준대로 프리뷰 청크가 나오는 것을 확인할 수 있습니다.
저장 및 처리를 실행하여 문서의 텍스트를 벡터로 변환하는 임베딩 과정을 완료합니다.
3단계: 채팅플로우 생성 및 테스트
이전에 만든 제주도 여행 채팅플로우로 돌아가서 플로우에 연결된 지식을 방금 만든 Google Drive 제주도 여행 문서로 변경합니다.
LLM에게 해당 문서의 내용에 관련된 질문 하면, Google Drive 지식 기반으로 검색하여 정확하고 일관성 있는 답변을 제공하는 것을 확인할 수 있습니다.
오픈네트웍시스템 이승헌