어떤 의도든 똑똑하게 이해하고 추론하는! Agent for Amazon Bedrock

Agents for Amazon Bedrock 소개

챗봇 기능 구현

• 예약 기능

  • 고객 DB, 예약/발권 정보 등 기간계 시스템과 연동하여 예약 정보 업데이트

• 주소 검색 기능

• 알림 기능

RAG vs Agent

• RAG (Retrieval-Augmented Generation)

  • 외부 데이터베이스에 엑세스하여 관련 정보를 가져와 생성 모델에서 사용

• Agent

  • LLM 추론을 위해 실시간 정보를 사용하는 사용 사례에서 활용

#ReAct (Reasoning + Acting)

• 질문

  • 사용자가 요청한 작업이나 해결해야 할 문제

• 사고

  • 문제 해결을 위한 행동 식별 및 계획 생성/유지/조정

• 행동

  • 사전 허용된 범위의 API 등 외부 환경과 모델의 상호작용

• 관찰

  • LLM이 사고 과정을 거쳐 행동을 수행하는 과정

Langchain Agent

• Tools

  • 에이전트가 외부 환경과 상호작용할 때 사용하는 내장 도구 인터페이스

• Toolkits

  • 특정 작업에서 함께 작동할 수 있는 도구 모음

• Agent Types

  • Langsmith hub 내 프롬프트

  • 특정 작업을 수행하기 위해 Pull

Agents for Amazon Bedrock

• 프롬프트 활용

  • AWS가 제공하는 각 모델에 적합한 프롬프트 활용

• Knowledge Bases for Amazon Bedrock

  • 완전 관리형 경험 RAG와 원클릭 통합

• 안전한 접근 및 조회, 가드레일 설정

• 동작 방식

  • Question

    • Agent 런타임 Endpoint로 인입된 쿼리

  • Thought

    • 사용자 요청의 여러 의도 이해, 작업 분할 및 오케스트레이션 자동화

  • Action

    • 람다 함수 호출

  • Observation

• 작업 그룹 구성 요소

  • OpenAPI 스키마

    • 함수 오케스트레이션을 위한 요청 및 응답

    • 정보를 YAML, JSON 형식으로 정의

  • Lambda 함수

    • Agent와 호환되는 요청 방식으로 작성

최적화 기법 및 Lesson Learned

• 신규 Agent 생성 시 CDK 사용 권장

  • Generate-ai-cdk-constructs

• Lambda Web Adapter

  • 기존 백엔드가 이미 구성되어 있는 경우, 오픈소스 툴을 통해 Agent와 병합

  • HTTP를 지원하는 모든 웹서버에 대해 코드 변경 없이 람다로 마이그레이션

  • FastAPI와 궁합이 좋음

• Self-Managed RAG

  • Hybrid Search

    • 키워드 기반 laxical search와 유사도 기반 semantic search 결합

  • 메타데이터 기반 필터링

    • 특정 제품명, 도메인에 대한 필터링으로 검색 범위 제한

  • 쿼리 캐싱

    • 인메모리 DB에 질문-답변 저장, 전체/유사도 일치 기반 쿼리 캐싱으로 빠른 답변 반환

• 멱등성

  • 모든 작업이 람다를 통해 실행되므로, API 호출에 대한 멱등성 보장 필요

  • idempotency 유틸리티에서 idempotent 데코레이터로 쉽게 통합

Warp Up

• LLM의 빠른 발전

• 성능 향상을 위한 다양한 기법 등장

• 모든 기법 테스트는 리소스 낭비

  • AWS의 추상화된 관리형 서비스 제공

• Agent를 통한 실시간 작업 자동화

• 기존 백엔드와 Agent의 긴밀한 통합으로 새로운 비즈니스 가치 창출 가능