네이버 개발자들은 AI Agent를 어떻게 사용하고 있을까? - 네이버클라우드 AI DEVDAY 참여후기

빼곡히 쌓인 네이버클라우드 AI DevDay 컨퍼런스 좌석

 

2025년 7월 15일 네이버클라우드의 AI 개발자 컨퍼런스, AI DevDay가 진행되었습니다. 이번 컨퍼런스에서는 LLM과 AI Agent 기술 트렌드, 아키텍처 설계, 도입 사례까지 생성형 AI 기술 흐름과 실전 적용 전략을 “Production-Ready” 관점에서 깊이 있게 다룬다는 점에서 좀 더 개발자들에게 흥미가 가는 세션들이 많이 준비가 되어 있었습니다.

 

저도 최근에 랭그래프, 랭체인을 활용한 AI 프로젝트를 진행했었기에 이번 컨퍼런스를 굉장히 관심을 갖고 기다려왔었는데요. 이번 포스팅에는 AI DevDay에 참여하면서 보고 느꼈던 점들에 대해 공유드리도록 하겠습니다.

 

---

 

세션 구성

1. 지금 주목할 LLM 기술 흐름과 생성형 AI 적용 인사이트 - 네이버클라우드 강지나 수석
2. Multi-AI Agent 아키텍처와 구현 전략 - 네이버클라우드 허창현 리더
3. AI Agent 구현을 위한 MCP 활용 방안 - 네이버클라우드 최장호 수석
4. NVIDIA NeMo 마이크로서비스를 이용한 AI Agent 고도화 - NVIDIA 나승구 데브렐
5. 대화형 에이전트를 위한 Audio LLM, HyperCLOVA X Audio - 네이버클라우드 최상혁 연구원
6. [패널토크] 현장에서 답을 찾다: 생성형 AI 실전 도입 전략 - 클라비 기술연구소 이용준 상무, 네이버클라우드 허창현 리더

 

[마감] NAVER Cloud AI DevDay (AI 개발자 컨퍼런스 - 7.15 @선릉)

 

---

 

1. LLM 기술 흐름과 생성형 AI 적용 인사이트

지금 주목할 LLM 기술 흐름과 생성형 AI 적용 인사이트 - 네이버클라우드 강지나

첫 번째 세션에서는 현재 LLM의 기술 흐름과 생성형 AI 적용 시 고려해야 할 점들에 대한 소개가 이루어졌습니다. 더불어 네이버클라우드의 Agentic AI 고객사 활용사례와 도메인 적용 시 고려사항 등에 대해 알아볼 수 있었던 점도 흥미로웠는데요. 우선 현재 AI는 어떤 분야와 산업에서 사용되고 있는지? 그 활용 사례부터 알아보도록 하겠습니다.

 

먼저 활용 사례로는 보안취약점 처리, 데이터 분석, QnA 등등이 소개되었는데요. GenAI를 통해 애플리케이션 취약성 경고를 분석하고 오탐률을 줄임으로써 안정적인 운영을 할 수가 있게 되었고 과거 매출, 계절별 추세, 마케팅 캠페인, 경제 지표, 소셜 미디어 여론 등을 통해 다양한 데이터를 분석하여 정확한 수요 예측을 생성할 수 있게 되었다고 합니다.

 

또한, 고객사에서 기존의 단순한 Q&A 챗봇을 넘어서 사용자 요청을 이해하고 백엔드 시스템(예: 주문 시스템, 재고 관리 시스템)에 접속하여 필요한 정보를 쿼리 하거나 환불, 재주문, 기록 업데이트 등의 실제 작업을 자율적으로 수행하는 정도 수준의 Agentic AI를 요구한다는 점을 알 수 있었습니다.

 

Agentic AI 구현시 고려요소 6가지

 

그에 맞게 Agentic AI 도입 시 고려사항에 대해서는 다음과 같이 6가지 요소로 구분하여 소개해주셨는데요. 먼저 어떤 분야에서 어떤 역할을 수행할지 범위(Scope)를 정하고 나서 검색엔진으로 처리해야 할지? AI 모델이 처리해야 할지 에 대한 계획(Planning)을 세우고 장기 기억과 단기 기억(Memory) 중에 어떤 것이 필요한지 정하는 등을 고려해야 한다고 합니다.

 

나아가 어떤 Agent 도구를 사용할 것인지? 데이터 파이프라인은 RAG를 사용할 것인지 SQL을 사용할 것인지 또 정확성, 일관성에 대한 평가지표는 어떻게 세울 것인지 등등의 전략을 세우는 것도 중요합니다. 이를 통해 첫 번째 세션에서는 AI 프로젝트 진행 시 기획&분석 단계에서 어떻게 진행하면 좋을지에 대한 인사이트를 얻을 수 있었습니다.

 

---

 

2. Multi-AI Agent 아키텍처와 구현 전략

Multi-AI Agent 아키텍처와 구현 전략 - Cloud Solution Architect 허창현

두 번째 세션으로는 Multi-AI Agent 아키텍처와 구현 전략에 대한 소개가 진행되었습니다. 어떻게 보면 제가 제일 기대했던 세션이라고 볼 수 있는데요. 개발자들은 과연 생성형 AI를 어떻게 도입하고 활용할 수 있는가에 대한 내용이 주로 이루어졌습니다.

 

먼저 단일 에이전트의 한계와 멀티 에이전트의 필요성을 시작으로 A2A, MCP 등의 프로토콜을 적재적소에 활용할 수 있는 방법으로 에이전트 프레임워크의 종류에 대해 소개가 이어졌습니다. 현재 가장 많이 쓰이고 있는 Agent 프레임워크는 다음과 같다고 합니다.

 

• LangChain/LangGraph
• AutoGen
• OpenAI Agents SDK
• Google ADK

 

그중에서도 저는 랭체인과 랭그래프를 사용해 보았기 때문에 꽤나 친숙했지만 다른 프레임워크들에 대해서는 사실 이름만 들어본 상태라 잘 알지는 못했는데요. 이 프레임워크들은 각각 특성이 달라서 서로 유기적으로 사용할 수 있다고 합니다.

 

랭그래프는 노드 엣지 들을 연결하여 그래프들을 엮어 절차적인 수행(workflow)을 설계하는 것이고 AutoGen은 AI가 서로 주어진 프롬프트를 통해 대화하며 결괏값을 만들어낸다고 합니다.

 

멀티 에이전트 아키텍처 패턴은 랭그래프 가이드문서에도 잘 나와있지만, 네이버클라우드 SA팀에서 가장 많이 쓰고 있는 패턴은 Supervisor 패턴과 SWARM 패턴이라고 합니다.

Supervisor 패턴과 SWARM 패턴

 

Supervisor 패턴은 말 그대로 관리자(Supervisor)가 관리 감독하는 트리형(계층형) 에이전트로써 서로 통신할 때는 이러한 레이어를 지키면서 통신하는 아키텍처입니다. 이 패턴을 확장해서 Multi Supervisor 패턴도 있지만 Supervisor끼리의 라우트를 구성하는 것은 또 다른 어려움이 있어 이 또한 해결해야 하는 과제 중 하나라고 합니다.

 

SWARM 패턴은 현재 가장 많이 쓰이는 패턴으로 핸드오프(Handoff)라는 개념이 도입됩니다. 질문에 따라 에이전트들은 각각 다양한 tool을 사용하고 다양한 데이터를 사용할 수 있는데 이 상태를 전역적으로 저장하지 않고(Stateless) 다른 에이전트에게 작업을 넘기는 과정(Handoff)을 거치기 때문에 전체적인 메모리 관리 기능이 필요하지 않은 경우 가볍게 구현할 수 있다는 장점이 있습니다.

 

실제로 도메인이 늘어날 때마다 퍼포먼스가 어떤지를 벤치마킹해 보았을 때 supervisor와 swarm 패턴은 안정적인 반면에 single 패턴은 비용과 품질(점수)이 저하되는 현상을 보실 수 있었다고 합니다.

 

네이버클라우드 SA팀이 진행한 Score와 Cost에 대한 아키텍처 패턴 벤치마킹 결과

 

---

 

3. AI Agent 구현을 위한 MCP 활용방안

AI Agent 구현을 위한 MCP 활용방안 - Cloud Solution Architect 최창호

 

세 번째 세션은 MCP(Model Context Protocol) 활용방안과 구현 방법에 대한 설명이 주로 이루어졌습니다. MCP는 제가 근무하고 있는 회사에서도 하반기 때 지원 예정에 있었기 때문에 좀 더 집중해서 재밌게 들었던 세션이었습니다. MCP는 클로드에서 정의한 AI 모델이 데이터소스나 도구를 연결할 수 있는 표준화된 프로토콜입니다.

 

따라서, MCP가 제대로 흥행하려면 얼마나 많은 도구를 제공하고 있는지가 관건이었는데 smithery, glama 등에서 이미 많은 MCP 서버(도구)들이 준비되어 있었기 때문에 흥행할 수 있었고 사용하는 입장에서는 사용방법만 알면 편리하게 필요한 MCP 서버들을 가져다 쓰기만 하면 되어 더욱 손쉽게 접근할 수 있었습니다.

 

MCP 구현방법에 대해서는 client와 server 두 가지 사용방법에 대해 모두 알아볼 수 있었습니다. 먼저 client의 경우에는 클로드나 Cursor, ChatGPT 같은 도구에서 MCP 서버를 등록해서 사용할 수 있습니다. 만약 직접 에이전트를 구축하는 경우에는 랭그래프 또는 crewAI에서 Agent를 리액트 방식으로 많이 구현한다고 합니다.

 

Server를 구축하는 경우에는 FastMCP SDK를 사용하면 편리하다고 합니다. FastMCP를 사용하는 경우 데코레이터를 통해 간편하게 작성할 수 있게 됩니다. 다만, 가급적이면 컨테이너로 분리해서 사용하고 보안상 Remote MCP 서버보다는 로컬서버에 MCP서버를 구축해서 사용하는 것을 권장하였습니다.

 

from mcp.server.fastmcp import FastMCP

mcp = FastMCP(
    "Math",
    instructions="You are a math assistant"
)

@mcp.tool()
def mymcp() -> str:
    return "MCP 입니다."
    
if __name__ == "__main__":
    mcp.run(transport="studio")

 

MCP 사용 모델을 선정할 때는 tool calling을 잘하는 모델과 Agent를 찾는 것과 tool의 Output과 LLM Input 간의 포맷을 잘 맞추는 것이 중요하고 이 모든 것들을 구동할 수 있는 프레임워크를 선정하는 것도 중요하다고 합니다.

 

---

 

4. NVIDIA NeMo 마이크로서비스를 이용한 AI Agent 고도화

NVIDIA NeMo 마이크로서비스를 이용한 AI Agent 고도화 - 나승구 NVIDIA DevRel

 

네 번째 세션에서는 엔비디아의 데브렐을 담당하고 계신 분께서 직접 연사를 맡아주셨습니다. NVIDIA의 후원으로 진행되는 행사였기 때문에 역시나 NVIDIA의 세션도 포함되었었는데요.

 

NVIDIA에서는 새로 나온 소프트웨어 NeMo에 대해 소개를 하였습니다. Nemo는 생성형 AI 모델과 AI 에이전트를 구축·맞춤화할 수 있는 모듈형 플랫폼이라고 합니다.

 

이 중에서 가장 인기가 많은 제품은 NeMo Curator라고 합니다. NeMo Curator는 텍스트. 이미지, 비디오 데이터셋을 확장 가능하고 유연하게 큐레이션 하여 모델 정확도를 향상하는 python SDK이며 다양한 GPU 가속 기능을 제공하고 있어 국내 대기업들에서도 사용하고 있는 사례들을 엿볼 수 있었습니다.

 

NeMo Curator 외에도 파인튜닝을 단순화하고 가속화시킬 수 있는 NeMo Customizer, 보안과 안정성을 충족시켜 주는 NeMo Guardrails, Rag에 특화된 NeMo Retriever 등도 있으니 관심 있으신 분들은 한번 찾아보아도 좋을 것 같다는 생각이 듭니다.

 

---

 

5. 대화형 에이전트를 위한 Audio LLM, HyperCLOVA X Audio

대화형 에이전트를 위한 Audio LLM, HyperCLOVA X Audio - 네이버클라우드 최상혁

다섯 번째 세션으로는 네이버클라우드의 멀티모달 LLM인 Audio Agent에 대해 소개가 되었습니다. 이번 세션에서는 영화 아이언맨의 자비스처럼 대화에 딜레이가 없고 얼마나 자연스러운 AI 모델을 만들 수 있을지에 대해 연구한 내용을 공유를 해주었습니다.

 

Audio Agent의 진화 과정에 대해 소개해준 부분이 인상적이었는데 가장 간단한 구현 방식은 Cascaded 방식으로 기존의 모듈들을 전부 합치는 방식이며 저도 많이 사용했던 방법입니다. 예를 들어, STT를 통해 사람의 목소리를 텍스트로 변환해서 AI 모델에게 전달하고 TTS를 통해 텍스트를 사람의 목소리로 변환하여 전달하는 방식입니다.

 

하지만 이를 넘어서 Real-Time으로 넘어가려면 사실 모델이 turn-tasking 경계에 국한되지 않고 입출력을 동시에 모델링해서 Interrupting에 반응할 수 있는 Agent까지 나아가야 한다고 합니다.

 

현재는 그 정도까지는 아니지만 300ms 수준까지 레이턴시를 낮춰서 자연스러운 대화가 가능한 정도까지 구현이 되었다고 하는데요. 실제로 시연 영상을 보니 굉장히 자연스러워서 가장 놀라웠었던 세션 중의 하나였습니다.

 

---

 

6. [패널토크] 현장에서 답을 찾다: 생성형 AI 실전 도입 전략

마지막으로는 패널토크가 진행되었었는데요. HyperCLOVA X 도입 첫 사례인 클라비의 기술연구소 상무님과 네이버클라우드 SA팀 리더분께서 직접 참여를 하셨고 현재 70여 건 이상의 실제 수행 사례를 기반으로, 시장이 기대하는 생성형 AI의 역할과 AI 개발자가 준비해야 할 핵심 포인트들에 대해 알 수 있었던 시간이었습니다.

 

실제로 필요했던 기술들은 쿠버네티스의 적용, 데이터 전처리의 자동화, 랭체인 모듈화 등으로 발 빠르게 대응하는 것이 중요하며, 고객사의 기대치에 못 미치는 AI 품질들에 대해서는 점진적인 개선을 통한 약속을 통해 비즈니스를 체결하는 전략을 구사한다고 합니다. 그리고 개발자들이 모든 도메인을 전부 이해할 수는 없으므로 구축 시에는 고객사와 같이 공동작업을 하는 것도 방법이라고 합니다.

 

기술적으로 성능을 높였던 방법으로는 임베딩 모델을 튜닝하는 것과 리랭킹 모델로 정합성을 높이는 등의 문제를 직접 해결하는 등 클라비의 높은 기술력도 엿볼 수 있는 시간이었습니다.

 

---

 

🌠 소감 및 후기

이번 컨퍼런스를 통해 느낀 점은 작년에는 모델의 성능과 품질이 중요했다면 이제는 다양한 에이전트들이 준비되어 있으므로 개발자들이 활발하게 움직여야 할 때가 되었다는 점입니다.

 

패널토크에서 나왔던 질문 중 하나가 인상적이었는데요. 누군가 AI기술자가 갖춰야 할 스킬 셋과 마인드셋에 대해 여쭤보았는데 네이버클라우드 SA팀 리더분께서는 개발자들도 각 모델이 가지고 있는 특성과 모델에 대한 이해가 필요하므로 튜닝도 직접 해보고 Swarm, Supervisor 패턴 등을 통해 튜닝 모델을 활용해 보는 것도 중요하다고 합니다.

 

따라서, AI 개발자를 꿈꾸는 분들에게는 이러한 점들을 고려해서 커리어를 만들어가 보면 어떨까 싶습니다.😊