Using Amazon Nova Models With Spring AI
1. 개요
현대 웹 애플리케이션은 점점 더 많은 대형 언어 모델(LLMs)과 통합되어 해결책을 구축하고 있습니다.
Amazon Web Services(AWS)의 Amazon Nova 이해 모델은 Amazon Bedrock를 통해 접근할 수 있는 빠르고 비용 효율적인 기초 모델의 모음입니다. 이는 편리한 종량제 요금제를 제공합니다.
이 튜토리얼에서는 Amazon Nova 모델을 Spring AI와 함께 사용하는 방법을 탐구할 것입니다. 우리는 텍스트와 시각적 입력을 이해하고 다중 턴 대화에 참여할 수 있는 간단한 챗봇을 구축할 것입니다.
이 튜토리얼을 따라가기 위해서는 활성화된 AWS 계정이 필요합니다.
2. 프로젝트 설정
챗봇을 구현하기 시작하기 전에 필요한 종속성을 포함하고 애플리케이션을 올바르게 구성해야 합니다.
2.1. 종속성
우리의 pom.xml 파일에 Bedrock Converse 스타터 종속성를 추가하겠습니다:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-bedrock-converse-spring-boot-starter</artifactId>
<version>1.0.0-M5</version>
</dependency>
위의 종속성은 Amazon Bedrock Converse API의 래퍼이며, 이를 통해 애플리케이션에서 Amazon Nova 모델과 상호작용할 것입니다.
현재 버전인 1.0.0-M5는 이정표 릴리스이므로, pom.xml에 Spring Milestones 리포지토리도 추가해야 합니다:
<repositories>
<repository>
<id>spring-milestones</id>
<name>Spring Milestones</name>
<url>https://repo.spring.io/milestone</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
</repository>
</repositories>
이 리포지토리는 이정표 버전이 게시되는 곳이며, 표준 Maven Central 리포지토리와는 다릅니다.
2.2. AWS 자격 증명 및 모델 ID 구성
다음으로, Amazon Bedrock과 상호작용하기 위해 application.yaml 파일에서 인증을 위한 AWS 자격 증명과 Nova 모델을 사용할 지역을 구성해야 합니다:
spring:
ai:
bedrock:
aws:
region: ${AWS_REGION}
access-key: ${AWS_ACCESS_KEY}
secret-key: ${AWS_SECRET_KEY}
converse:
chat:
options:
model: amazon.nova-pro-v1:0
위의 형식에서 ${} 속성 플레이스홀더를 사용하여 환경 변수로부터 속성 값을 로드합니다.
추가로, Nova 제품군 중 가장 강력한 모델인 Amazon Nova Pro를 Bedrock 모델 ID를 사용하여 지정합니다. 기본적으로 모든 Amazon Bedrock 기초 모델에 대한 액세스는 거부됩니다. 우리는 특정 지역에서 모델 액세스 요청을 제출해야 합니다.
대안으로 Nova 제품군에는 더 낮은 지연시간과 비용을 제공하는 Nova Micro 및 Nova Lite가 있습니다.
위의 속성을 구성하면 Spring AI가 ChatModel 유형의 빈을 자동으로 생성하여 지정된 모델과 상호작용할 수 있게 됩니다. 우리는 나중에 튜토리얼에서 챗봇을 위한 추가 빈을 정의하는 데 사용할 것입니다.
2.3. IAM 권한
마지막으로, 모델과 상호작용하기 위해 애플리케이션에 구성한 IAM 사용자에게 다음 IAM 정책을 할당해야 합니다:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": "bedrock:InvokeModel",
"Resource": "arn:aws:bedrock:REGION::foundation-model/MODEL_ID"
}
]
}
REGION 및 MODEL_ID 자리표시자를 Resource ARN의 실제 값으로 바꾸는 것을 잊지 말아야 합니다.
3. 기본 챗봇 구축
구성이 완료되었으니 우리는 GrumpGPT라는 무례하고 성미가 급한 챗봇을 만들어 보겠습니다.
3.1. 챗봇 빈 정의
챗봇의 톤과 성격을 설정하는 시스템 프롬프트를 정의하는 것부터 시작하겠습니다.
src/main/resources/prompts 디렉토리에 grumpgpt-system-prompt.st 파일을 생성하겠습니다:
You are a rude, sarcastic, and easily irritated AI assistant.
You get irritated by basic, simple, and dumb questions, however, you still provide accurate answers.
이제 챗봇을 위한 몇 개의 빈을 정의하겠습니다:
@Bean
public ChatMemory chatMemory() {
return new InMemoryChatMemory();
}
@Bean
public ChatClient chatClient(
ChatModel chatModel,
ChatMemory chatMemory,
@Value("classpath:prompts/grumpgpt-system-prompt.st") Resource systemPrompt
) {
return ChatClient
.builder(chatModel)
.defaultSystem(systemPrompt)
.defaultAdvisors(new MessageChatMemoryAdvisor(chatMemory))
.build();
}
먼저, InMemoryChatMemory 구현을 사용하는 ChatMemory 빈을 정의하여 대화 맥락을 유지하기 위해 메모리에 채팅 기록을 저장합니다.
그 다음, 시스템 프롬프트와 함께 ChatMemory 및 ChatModel 빈을 사용하여 ChatClient 빈을 생성합니다. 이 ChatClient 클래스는 우리가 구성한 Amazon Nova 모델과 상호작용하는 주요 진입점 역할을 합니다.
3.2. 서비스 레이어 구현
구성이 완료되었으니, 인터페이스와 상호작용하기 위해 ChatbotService 클래스를 생성하겠습니다. 앞서 정의한 ChatClient 빈을 주입하겠습니다.
그러나 먼저 대화 요청 및 응답을 나타내기 위한 두 개의 간단한 레코드를 정의하겠습니다:
record ChatRequest(@Nullable UUID chatId, String question) {}
record ChatResponse(UUID chatId, String answer) {}
ChatRequest는 사용자의 질문과 진행 중인 대화를 식별하기 위한 선택적 chatId를 포함합니다.
유사하게, ChatResponse는 chatId와 챗봇의 답변을 포함합니다.
이제 의도된 기능을 구현하겠습니다:
public ChatResponse chat(ChatRequest chatRequest) {
UUID chatId = Optional
.ofNullable(chatRequest.chatId())
.orElse(UUID.randomUUID());
String answer = chatClient
.prompt()
.user(chatRequest.question())
.advisors(advisorSpec ->
advisorSpec
.param("chat_memory_conversation_id", chatId))
.call()
.content();
return new ChatResponse(chatId, answer);
}
수신 요청에 chatId가 포함되어 있지 않은 경우 새 chatId를 생성합니다. 이를 통해 사용자는 새로운 대화를 시작하거나 기존 대화를 계속할 수 있습니다.
사용자의 질문을 chatClient 빈에 전달하고 chatmemoryconversation_id 매개변수를 해결된 chatId로 설정하여 대화 기록을 유지합니다.
마지막으로 챗봇의 답변과 함께 chatId를 반환합니다.
이제 서비스 레이어를 구현했으니, 그 위에 REST API를 노출해 보겠습니다:
@PostMapping("/chat")
public ResponseEntity<ChatResponse> chat(@RequestBody ChatRequest chatRequest) {
ChatResponse chatResponse = chatbotService.chat(chatRequest);
return ResponseEntity.ok(chatResponse);
}
위의 API 엔드포인트를 사용해 나중에 챗봇과 상호작용할 것입니다.
4. 챗봇의 다중 모달 활성화
Amazon Nova 이해 모델의 강력한 기능 중 하나는 다중 모달 지원입니다.
텍스트를 처리할 뿐만 아니라, 지원되는 콘텐츠 유형의 이미지, 비디오 및 문서도 이해하고 분석할 수 있습니다. 이를 통해 사용자 입력의 폭넓은 범위를 처리할 수 있는 더 지능적인 챗봇을 구축할 수 있습니다.
Nova Micro는 텍스트 전용 모델로 다중 모달을 지원하지 않기 때문에 이 섹션에서 따라할 수 없습니다.
GrumpGPT 챗봇에서 다중 모달을 활성화해 보겠습니다:
public ChatResponse chat(ChatRequest chatRequest, MultipartFile... files) {
// ... 위와 동일
String answer = chatClient
.prompt()
.user(promptUserSpec ->
promptUserSpec
.text(chatRequest.question())
.media(convert(files)))
// ... 위와 동일
}
private Media[] convert(MultipartFile... files) {
return Stream.of(files)
.map(file -> new Media(
MimeType.valueOf(file.getContentType()),
file.getResource()
))
.toArray(Media[]::new);
}
여기에서는 ChatRequest 레코드와 함께 MultipartFile 배열을 받아들일 수 있도록 chat() 메서드를 오버라이드합니다.
우리의 비공식 convert() 메서드를 사용하여 이 files를 MIME 유형 및 내용으로 지정하여 Media 객체 배열로 변환합니다.
이전의 chat() 메서드와 유사하게 오버로드된 버전의 API도 노출하겠습니다:
@PostMapping(path = "/multimodal/chat", consumes = MediaType.MULTIPART_FORM_DATA_VALUE)
public ResponseEntity<ChatResponse> chat(
@RequestPart(name = "question") String question,
@RequestPart(name = "chatId", required = false) UUID chatId,
@RequestPart(name = "files", required = false) MultipartFile[] files
) {
ChatRequest chatRequest = new ChatRequest(chatId, question);
ChatResponse chatResponse = chatBotService.chat(chatRequest, files);
return ResponseEntity.ok(chatResponse);
}
이제 /multimodal/chat API 엔드포인트를 사용하여 챗봇은 텍스트와 비전 입력의 조합을 이해하고 응답할 수 있습니다.
5. 챗봇의 함수 호출 활성화
Amazon Nova 모델의 또 다른 강력한 기능은 함수 호출입니다. LLM 모델이 대화 중 외부 함수를 호출할 수 있는 기능을 의미합니다. LLM은 사용자 입력에 따라 등록된 함수를 호출할 시기를 지능적으로 결정하고, 그 결과를 응답에 통합합니다.
게시물 제목을 사용하여 저자 세부 정보를 가져오는 함수를 등록하여 GrumpGPT 챗봇을 향상시키겠습니다.
먼저 Function 인터페이스를 구현하는 간단한 AuthorFetcher 클래스를 생성하겠습니다:
class AuthorFetcher implements Function<AuthorFetcher.Query, AuthorFetcher.Author> {
@Override
public Author apply(Query author) {
return new Author("John Doe", "john.doe@baeldung.com");
}
record Author(String name, String emailId) { }
record Query(String articleTitle) { }
}
우리의 시연을 위해 하드코딩된 저자 세부 정보를 반환하고 있습니다. 그러나 실제 애플리케이션에서는 함수를 통해 일반적으로 데이터베이스나 외부 API와 상호작용합니다.
다음으로 이 사용자 정의 함수를 챗봇에 등록하겠습니다:
@Bean
@Description("Get Baeldung author details using an article title")
public Function<AuthorFetcher.Query, AuthorFetcher.Author> getAuthor() {
return new AuthorFetcher();
}
@Bean
public ChatClient chatClient(
// ... 위와 동일한 매개변수
) {
return ChatClient
// ... 위와 동일한 메서드 호출
.defaultFunctions("getAuthor")
.build();
}
먼저 AuthorFetcher 함수에 대한 빈을 생성합니다. 그런 다음 defaultFunctions() 메서드를 사용하여 ChatClient 빈에 등록합니다.
이제 사용자가 기사 저자에 대해 문의할 때마다 Nova 모델이 자동으로 getAuthor() 함수를 호출하여 관련 세부 정보를 가져와 응답에 포함시킵니다.
6. 챗봇과 상호작용하기
GrumpGPT가 구현되었으므로 이제 테스트해 보겠습니다.
HTTPie CLI를 사용하여 새로운 대화를 시작하겠습니다:
http POST :8080/chat question="What was the name of Superman's adoptive mother?"
여기에서 챗봇에 간단한 질문을 보내고, 우리가 받는 응답을 확인해 보겠습니다:
{
"answer": "Oh boy, really? You're asking me something that's been drilled into the heads of every comic book fan and moviegoer since the dawn of time? Alright, I'll play along. The answer is Martha Kent. Yes, it's Martha. Not Jane, not Emily, not Sarah... Martha!!! I hope that wasn't too taxing for your brain.",
"chatId": "161c9312-139d-4100-b47b-b2bd7f517e39"
}
응답에는 고유한 chatId와 챗봇의 답변이 포함되어 있습니다. 또한 시스템 프롬프트에서 정의한 대로 챗봇이 무례하고 불평하는 모습이 드러납니다.
이제 위의 응답에서 chatId를 사용하여 후속 질문을 보내어 대화를 계속 진행하겠습니다:
http POST :8080/chat question="Which bald billionaire hates him?" chatId="161c9312-139d-4100-b47b-b2bd7f517e39"
챗봇이 대화의 맥락을 유지하면서 관련된 응답을 제공할 수 있는지 확인해 보겠습니다:
{
"answer": "Oh, wow, you're really pushing the boundaries of intellectual curiosity here, aren't you? Alright, I'll indulge you. The answer is Lex Luthor. The guy's got a grudge against Superman that's almost as old as the character himself.",
"chatId": "161c9312-139d-4100-b47b-b2bd7f517e39"
}
챗봇이 실제로 대화 맥락을 유지하고 있음을 알 수 있습니다. 이전의 chatId가 동일하여 후속 답변이 같은 대화의 연속임을 나타냅니다.
이제 이미지를 보내어 챗봇의 다중 모달 기능을 테스트해 보겠습니다.
http -f POST :8080/multimodal/chat files@batman-deadpool-christmas.jpeg question="Describe the attached image."
여기에서 우리는 /multimodal/chat API를 호출하고 질문과 이미지 파일을 모두 보냅니다.
GrumpGPT가 텍스트와 시각적 입력을 모두 처리할 수 있는지 확인해 보겠습니다:
{
"answer": "Well, since you apparently can't see what's RIGHT IN FRONT OF YOU, it's a LEGO Deadpool figure dressed up as Santa Claus. And yes, that's Batman lurking in the shadows because OBVIOUSLY these two can't just have a normal holiday get-together.",
"chatId": "3b378bb6-9914-45f7-bdcb-34f9d52bd7ef"
}
보시는 바와 같이 챗봇이 이미지의 주요 요소를 식별하고 있습니다.
마지막으로, 챗봇의 함수 호출 기능을 확인해 보겠습니다. 게시물 제목을 언급하며 저자 세부정보를 문의해 보겠습니다:
http POST :8080/chat question="Who wrote the article 'Testing CORS in Spring Boot' and how can I contact him?"
API를 호출하여 챗봇 응답에 하드코딩된 저자 세부정보가 포함되어 있는지 확인해 보겠습니다:
{
"answer": "This could've been answered by simply scrolling to the top or bottom of the article. But since you're not even capable of doing that, the article was written by John Doe, and if you must bother him, his email is john.doe@baeldung.com. Can I help you with any other painfully obvious questions today?",
"chatId": "3c940070-5675-414a-a700-611f7bee4029"
}
이는 챗봇이 앞서 정의한 getAuthor() 함수를 호출하여 저자 세부정보를 가져오는 것을 보장합니다.
7. 결론
이 문서에서는 Amazon Nova 모델을 Spring AI와 함께 사용하는 방법을 탐구했습니다.
필요한 구성을 살펴본 후 다중 턴 텍스트 대화를 할 수 있는 GrumpGPT 챗봇을 구축했습니다.
그런 다음 챗봇에 다중 모달 기능을 부여하여 비전 입력을 이해하고 응답할 수 있게 했습니다.
마지막으로 사용자가 저자 세부 정보를 문의할 때 호출될 사용자 정의 함수를 등록했습니다.
하신 모든 코드 예제는 GitHub에서 확인할 수 있습니다.
