[Dify] RAG 실습 (3) - 웹 콘텐츠 기반 RAG

이번에는 웹 상의 정보를 기반으로 답변하는 RAG를 만들어보도록 하겠습니다.

1) 지식에서 웹 사이트 동기화를 선택합니다.
제공자 선택 화면이 나오며 Jina Reader와 Firecrawl 중 Firecrawl을 선택합니다.
두 제공자는 웹 사이트 내용을 추출해주는 도구입니다.

2) Firecrawl을 사용하려면 API 키가 필요합니다. 구성을 클릭하고 데이터 소스에서 Firecrawl을 설치합니다.

3) 설치가 완료되면 구성 페이지로 이동하여 Firecrawl API 키를 입력할 준비를 합니다. Firecrawl과 Dify가 연결되기 위해 인증 과정이 필요합니다.

4) Firecrawl API 설정을 입력합니다.

• 권한 이름: 권한 이름은 자유롭게 입력해도 됩니다. ex) API 인증
• Firecrawl server’s Base URL: https://api.firecrawl.dev 를 입력합니다.
• Firecrawl API Key: www.firecrawl.dev에 접속하여 회원가입 후 발급받아 입력합니다.

5) 저장을 누르면 Firecrawl 인증이 완료됩니다. 이제 웹 페이지 내용을 지식베이스로 가져올 수 있습니다.

6) 예시로 위키백과의 Grok3 페이지를 가져오겠습니다.
위키백과에서 페이지 URL https://en.wikipedia.org/wiki/Grok_(chatbot) 을 복사합니다.

7) 다시 지식 메뉴로 돌아와 Firecrawl 데이터 소스에서 URL을 붙여넣고 달리다 버튼을 누릅니다.
Firecrawl이 해당 웹 페이지를 스크랩하여 텍스트와 구조화된 콘텐츠를 추출합니다.

8) 스크랩이 완료되면 다음을 눌러 설정 단계로 넘어갑니다.

→ 무료 플랜에서 여러 문서 동시에 업로드 불가로 하나의 문서만 선택

→ 다른 플랜은 다음 선택

9) 다음과 같이 설정합니다.

10) 저장을 누르면 Firecrawl로 가져온 웹 콘텐츠 기반 지식이 생성됩니다.
문서로 이동 버튼을 눌러 실제로 어떤 텍스트가 저장되었는지 확인할 수 있습니다.

11) Grok3 페이지가 하나의 지식으로 정리된 것을 확인합니다.

12) 스튜디오로 이동해 챗봇을 새로 생성합니다.

 

13) RAG 프롬프트를 입력하고 컨텍스트에서 방금 만든 Firecrawl 기반 지식을 선택합니다.

 

14) 이제 웹 정보를 기반으로 답변하는 RAG 챗봇이 완성되었습니다.
Grok3 관련 질문을 입력하여 웹 정보 기반으로 잘 답변하는지 확인하면 됩니다.