AI
-
생성형 AI(LLM) 프롬프트 파일 관리 방법AI 2025. 3. 16. 00:38
생성형 AI에 사용되는 프롬프트는 어떻게 관리하는 게 좋을까요? 프롬프트는 챗봇의 답변 품질에 굉장히 많은 영향을 미치는 만큼 반드시 체계적인 관리가 필요한데요. 정작, 인터넷에서 프롬프트 관리 방법에 대해 검색해 보면 공개된 자료를 거의 찾을 수 없어서 항상 아쉬움이 많이 남았습니다. 최근 5개월짜리 짧은 기간 동안 AI 프로젝트를 리드하면서 어떻게 하면 팀의 성격에 맞게 프롬프트를 효율적으로 관리할 수 있을지 저도 직접 겪어보며 방법들을 조금씩 개선해 나갔는데요. 이번에 그 경험에 대해 공유드리고자 합니다. 🤔 프롬프트는 어떻게 관리하는 게 좋을까? 우선, 프롬프트를 관리하기 위해 첫 번째로 생각해보아야 할 점은 프롬프트가 외부에 공개되어도 되는지? 아니면 외부로 유출되면 안 되는지 생각해 볼 필..
-
BigQuery와 하이퍼클로바X로 Text-To-SQL(NL2SQL) 구현하기AI/HyperCLOVAX 2025. 3. 2. 21:55
BigQuery는 Google Cloud에서 제공하는 데이터 웨어하우스로, 대량의 데이터를 빠르게 분석할 수 있다는 장점이 있습니다. BigQuery를 사용할 경우 별도의 DB 설치 필요 없이 클라우드 내에서 데이터베이스를 조작할 수 있고 언어별 SDK도 지원이 잘 되어 있기 때문에 구글 계정 인증만 한다면 코드단에서도 손쉽게 사용이 가능합니다. 이번 포스팅에서는 랭체인을 활용하여 BigQuery와 하이퍼클로바X를 연동해 보고 Text-to-SQL 프롬프트를 작성하는 방법에 대해 알아보도록 하겠습니다. 목차1. BigQuery 사용방법 알아보기2. BigQuery 연동하기3. 하이퍼클로바X 연동하기4. Text-to-SQL(NL2SQL) 프롬프트 작성하기5. 정리하기 🔍 BigQuery 사용방법 알아..
-
초스피드 AI 프로토타입 개발을 위한 랭서브(Langserve) 도입기AI 2025. 2. 16. 23:58
최근에 5개월짜리 짧은 기간의 AI 프로젝트 리드를 맡게 되면서 어떤 프레임워크와 환경 셋팅을 가져가야 구현 속도면에서 이점이 있을까 고민하던 찰나에 우아한형제들의 기술블로그 중 AI 데이터 분석가 ‘물어보새’ 등장 – 1부. RAG와 Text-To-SQL 활용 아티클을 보게 되었습니다. 마침 제가 진행 중인 것과 유사한 프로젝트를 이미 사내 시스템에 도입해 보는 경험을 보유하고 있었고 그 과정에서 랭서브(Langserve)라는 프레임워크를 사용했다는 사실을 알게 되었는데요. 저도 흥미를 느끼게 되어 조사해 본 결과 러닝커브가 높지 않아서 저희 프로젝트에도 도입해 보면 좋겠다는 생각이 들었습니다. 가장 크게 느꼈던 매리트 중 하나는 랭서브를 통해 개발하는 경우 코드 몇 줄 작성한 것만으로도 invoke,..
-
Text-to-SQL을 위한 랭체인 Vector DBLess 환경 구축하기(ClovaXEmbeddings 활용)AI/HyperCLOVAX 2025. 1. 5. 13:37
AI를 활용하여 자연어를 SQL로 변환하는 기술을 Text-to-SQL 또는 NL2SQL이라고 부릅니다. 이 기술을 적용하기 위한 프롬프트로는 일반적으로 테이블 스키마 정보, 쿼리 생성 시 주의사항, 예시 등이 있는데요. 만약, 테이블을 여러 개 갖고 있는 경우 모든 테이블에 대한 스키마 정보를 프롬프트로 담기에는 LLM이 처리할 수 있는 context 길이에 제한이 있기 때문에 이 경우에는 사용자 쿼리로부터 필요한 정보만을 프롬프트로 사용해야 하는 기술이 추가적으로 필요합니다. 이때 사용자 질문을 해석해 의미상 어떤 테이블을 조회하는 것이 가장 적합할지 찾아주는 기능을 Vector database와 임베딩 모델로 해결할 수 있습니다. 그러나 시중의 Vector Database를 도입하기에는 비용이나 인..
-
하이퍼클로바 X 랭체인 프로젝트 및 서버 구축하기AI/HyperCLOVAX 2024. 11. 24. 21:04
불과 몇 주전인 10월 말 11월 초쯤 랭체인에 하이퍼클로바X를 연동할 수 있는 ChatCLOVA X가 등장했습니다. AI 생태계를 거의 지배하고 있는 랭체인 프레임워크에서 공식적으로 지원하는 한국 최초의 오픈소스 모델이 등장했다는 점은 상당히 고무적으로 다가오는 것 같습니다. 지난달까지만 해도 제가 랭체인 v0.3에 하이퍼클로바x 연동하기라는 포스팅을 작성했었는데요. 포스팅을 작성한 게 무색할 정도로 작성한 지 불과 며칠 만에 공식지원 모듈이 등장했습니다. 따라서 이제는 커스텀모델로 직접 만들지 않아도 사용하고 계신 langchain의 버전만 맞춰주신다면 공식적으로 HyperCLOVA X 사용이 가능해졌는데요. 이번 포스팅에서는 랭체인에서 지원하는 HyperCLOVA X 연동 모듈에서는 어떤 기능들이..
-
랭체인v0.3 하이퍼클로바x 연동하기AI/HyperCLOVAX 2024. 10. 13. 20:40
AI 업계에서 일하고 계신 분들이라면 랭체인(LangChain)이라는 단어가 낯설지 않을 텐데요. 요즘은 개발자부터 MLOps 엔지니어까지 여러 다양한 직군의 채용공고만 보아도 랭체인이라는 단어가 심심치 않게 등장하고 있습니다. 그만큼 랭체인은 AI 서비스를 개발하는 데 있어 중요한 프레임워크로 빠르게 자리 잡아가고 있는 것 같습니다. 랭체인의 장점은 모듈화 된 구조로 인해 모델과 프롬프트를 자유자재로 교체해서 사용할 수 있다는 점과 배치 처리, 비동기호출 같은 다양한 함수들을 활용하여 답변을 생성할 수 있기 때문에 백엔드 개발에 필요한 여러 많은 작업들을 최소화시켜준다는 점입니다. 특히, 많은 사람들이 사용하고 있는 클로드나 GPT 같은 저명한 오픈소스 모델 연동 모듈은 랭체인 커뮤니티에서 써드파티 라..
-
HyperCLOVA X로 나만의 캐릭터 챗봇 만들기: LLM 활용부터 데이터셋 자동화까지AI/HyperCLOVAX 2024. 7. 17. 23:30
요즘 AI가 워낙 핫 해지면서 여러 다양한 캐릭터 또는 유명 연예인들의 가치관, 성격, 말투까지 모두 따라 하게 만드는 챗봇들을 직접 만들어보는 시도들이 점차 늘어나고 있는데요. 어떻게 이렇게 단 시간 안에 수많은 캐릭터 챗봇들이 쏟아져 나올 수 있게 되었을까요? 그 이유는 바로 LLM(Large Language Model) 이 등장했기 때문입니다. 이전에는 챗봇을 만들려면 직접 질문과 답변을 다 대 다로 매핑해서 일일이 데이터베이스에 저장해놓아야 했기 때문에 굉장히 많은 시간과 비용이 들었지만 이제는 적은 데이터 만으로도 모델 학습을 통해 단 시간 안에 실제 캐릭터가 답변하는 듯한 느낌을 줄 수 있는 챗봇을 만들 수 있게 되었습니다. 적은 데이터만으로도 캐릭터 챗봇을 만들 수 있게 된 이유는 LLM에..
-
Cursor IDE 동작원리 및 설치, 사용방법AI 2024. 6. 11. 22:46
제가 코딩할 때 주로 쓰는 IDE는 IntelliJ와 VS Code인데요. 최근에는 이 에디터들만큼 자주 사용하는 도구가 하나 더 추가되었는데 바로 AI 기반 에디터인 Cursor입니다. 이전에는 AI를 활용해서 코드를 짠다고 하면 주로 ChatGPT에게 물어봐서 더 효율적인 함수를 찾거나, 기억이 잘 나지 않는 라이브러리를 찾거나 부트스트랩, 테일윈드 같은 css 프레임워크의 클래스명을 물어보는 용도로만 활용했었는데요. 사실 ChatGPT만 사용해도 업무 효율이 엄청나기 때문에 굳이 AI 에디터를 사용해야 될까?라는 의문을 갖고 있다가 이번에 마침 Cursor라는 에디터가 떠오르고 있어서 한번 직접 조사해 보고 사용해 보았는데 생각보다 만족감이 높았습니다. 그래서 이번에는 Cursor 사용경험에 대한 ..