랭콘 2023 참여 후기

  챗봇 코리아라는 오픈채팅방에 있다가 우연히 랭콘이라는 컨퍼런스가 있다는 것을 알게 되었습니다. 이전부터 계속 챗봇에 대한 관심이 많았고 현재도 챗봇 빌더를 개발하고 있어서 왜 챗봇 쪽으로는 컨퍼런스가 없을까 생각하고 있었는데 역시나 이미 좋은 컨퍼런스가 활성화되어 있었습니다. 그리고 재밌는 주제들이 많아 보여서 참여해야겠다 생각했는데 생각보다 티켓이 무서운 속도로 빠져나가는 것을 보고 고민도 안 하고 일단 구매하였습니다.😅

 

랭콘 티켓 구매 링크 : https://festa.io/events/3097

2023Langcon | Festa!

 

 랭콘은 언어 모델을 대상으로 한 자연어처리 동향을 살펴보고 생성 모델링 및 서비스를 이해해보는 목적을 가진 컨퍼런스입니다. 요즘 ChatGPT가 화두이다 보니 아무래도 참여하는 사람이 더 많았던 것이 아닌가 추측이 될 정도로 정말 많고 다양한 사람들이 모였던 것 같습니다.

 

 저는 사실 웹 개발 쪽이어서 딥러닝 쪽으로는 문외한이지만 현재 클라우드 챗봇 구축 작업도 하고 있고 언젠가는 DevOps를 넘어 MLOps또는 데이터 엔지니어로도 길을 열어놔야 하지 않을까 하는 생각에 참여하게 되었는데 알아들을 수 있는 것은 얼마 없었지만 정말 참여하기 잘했다는 생각이 들 정도로 뜻깊은 시간을 보냈다는 생각이 듭니다.

 

 그럼 보통 개발자의 시선으로 느낀 랭콘에 대해 솔직한 후기 남겨보도록 하겠습니다. 😀

 

🐣 컨퍼런스 입장, 준비

마이크로소프트 광화문오피스에서 진행된 랭콘 2023

 랭콘은 광화문의 마이크로소프트 건물에서 진행되었습니다. 입장하면 먼저 이름표를 부착하고 간식 코너로 이동해 이것저것 주섬주섬 챙겨서 자리로 이동합니다. 비교적 오랜 시간 동안 진행되기 때문에 운영진분들이 음료수, 다과, 커피 등을 많이 준비해주셨습니다. 자리는 100명 넘게 수용할 수 있을 정도로 넓은 공간이었고 일찍 오신 분들에 한해 자기소개 타임을 가지고 있었습니다. 생각보다 학생분들도 많아서 놀랐습니다.

 

자리는 운이 좋은 건지 나쁜 건지 비교적 늦게 온 편에 속해 제일 앞자리에 앉게 되었습니다. 여담이지만 경복궁이 보이는 뷰가 예술이더군요. 세미나 자료 찍는척하면서 바깥 풍경을 한번 찍어보았습니다😖

 

🐤 발표 소개 및 순서

랭콘 2023 타임 테이블

 

🍿 발표 영상 다시보기 : https://www.youtube.com/playlist?list=PLqkITFr6P-oQwn2hcDauXFht48XHfJojQ 

📖 발표 자료 보러가기 : https://songys.github.io/2023Langcon/about/

 

 

🐥 발표 내용 소감

 

1. 우린 머신과 어떻게 다르게 이야기하나

 

 첫 번째 발표는 삼성전자에서 일하고 계시는 이종원 님께서 발표해주셨습니다. 삼성전자에서 연구하고 계신 분야나 모델을 소개해주신 것은 아니었지만, 전반적인 GPT 역사의 흐름을 짚어주셔서 좋았습니다. RLHF 부터 시작해서 instruct GPT를 통해 Chat GPT까지 어떻게 만들어지는가를 소개해주셨고 Chat GPT의 단점들을 통해 좀 더 효율적인 대화 모델을 만드는 방법에 대해 개인적으로 연구하신 내용을 소개해주셨습니다. 

 

 특히 ChatGPT 단점으로 너무 길고 반복된 표현이 많은 것, 그리고 창의적이거나 은유 표현을 쓰는 휴먼라이크 정도까지는 아니라는 점과 침착맨 ChatGPT 유튜브를 예시로 보여주며 없는 정보를 지어내서 응답을 만든다는 점이 있다는 게 인상적이었습니다. 

 

2. 특정 도메인에 맞는 언어모델은 어떻게 만들까?

 

 두 번째 발표로는 BHSN의 박장원 님께서 발표해주셨습니다. 이 주제는 특히 저희 팀에서도 관심 있게 연구하고 있는 주제라 발표 시작 전부터 기대를 많이 했었고 좀 더 집중해서 들었던 것 같습니다. 

 

 현업에서는 거대모델을 사용하기 어렵다는 단점이 있지만 적당한 사이즈의 모델로도 해결할 수 있는 것이 많다는 전개로 이야기를 풀어가셨고 데이터 수집부터 토크나이저까지 어떻게 좋은 데이터를 수집할 수 있는지 노하우 등을 소개해 주셨습니다. 특히 pre-trainning을 하지 않고도 vocabulary만으로 성능 업을 해냈다는 점이 인상적이었습니다. 그만큼 토크나이징이 중요하다는 것을 강조해주셨습니다.

 

 여담으로 마지막에 AI-hub에 이미 도메인 특화모델이 많이 있으므로 만들지 마라라는 김새는 말씀도 덧붙여주셨습니다😅

 

3. 딥러닝을 딥하지 않게 사용해서 자연어 검색 만들기

 

 세 번째 발표로는 토스의 고석현 님께서 발표를 진행해주셨습니다. 실제 토스 검색에 적용한 기능에 관해서 설명해주셔서 흥미롭게 봤었고 또 데이터 엔지니어링을 담당하셨다는 점에서 제 롤모델이 될 수도 있겠구나 싶어서 더 관심있게 봤던 것 같습니다.

 

 토스 검색은 데이터 구축은 따로 하지 않고 카카오에서 공개한 6B 짜리 GPT를 베이스로 사용해서 튜닝을 시도했다는 점에서 저희 팀과 비슷하게 흘러갔다는 점이 공감이 많이 되었습니다. 할 수 있는 것에 집중을 했다는 점이 가장 와닿았고 엔지니어링을 jar 파일 하나로 Dynamic batching을 구현하여 동시성 처리를 해결했다는 점이 인상 깊었습니다. 또한, GPU가 다운되면 CPU를 늘려 대체하는 식으로 스케일링했다는 점도 기억에 남았습니다.

 

 토스에서 현재 금융 이력 분석을 자료로 허깅페이스에 공유할 예정이라고 말씀해주셨는데 벌써 기대가 많이 됩니다.

 

4. Eleuther AI에서의 1년

 

 네 번째 발표로는 튜닙의 고현웅 님께서 발표해주셨습니다. 현웅 님께서는 코로나 때문에 몸을 완전히 회복하지 못하셔서 원격으로 진행이 되었습니다.

 

 이번 발표도 재밌게 들었습니다. 세계적인 AI 사이드 프로젝트 커뮤니티인 Eleuther AI 디스코드 채널을 소개해주셨는데 저도 이 채널에 가입이 되어있어서 더 눈길이 끌었던 것 같습니다. 환웅 님께서는 멀티링구얼 언어모델 프로젝트에 대해 진행했던 후기 등에 발표를 해주셨고 그 과정에서 데이터 전처리를 어떤 식으로 진행했을 때 효과적이었는지, 그리고 모델 학습과 모델 평가는 어떻게 진행했었는지 등에 대해 공유해주셨습니다.

 

 특히 현재 오픈소스 그룹 매니징을 하고 계시는데 운영하면서 장단점을 소개해주셨는데 50명을 영입하면 그중에 10명 정도만 실제로 활동한다고 말씀해주셨을 때 공감도 되면서 웃펐던 기억이 납니다😂

 

 

5. 인공지능과 친구가 될 수 있을까요?

 

 다섯 번째 발표로는 스캐터랩의 이주홍 님께서 발표를 맡아주셨습니다. 스캐터랩은 많은 사람에게 친숙한 이루다를 개발한 연구소이기 때문에 흥미롭게 들을 수 있었던 주제였습니다.

 

 보통 챗봇을 나누는 기준으로 Task-oriented Dialogue(목적지향형 대화), Open-domain Dialogue(자유 대화) 두 가지를 꼽는데 스캐터랩에서는 Relationship-oriented Dialogue(관계 지향형 대화)라는 개념을 추가하여 관계 형성에 목표를 두고 있음을 분명히 하였습니다. 그래서 여타 다른 챗봇과는 달리 어떻게 하면 말을 잘할 수 있을까 보다는 어떻게 하면 대화를 통해서 좋은 관계를 형성할 수 있을까에 대해서 생각해보는 것을 중점으로 둔다고 말씀해 주셨습니다. 이루다와의 대화 내용을 위주로 재밌게 설명해주셔서 재밌게 봤었던 것 같습니다.

 

 발표가 끝나고 질문이 가장 많은 섹션이었습니다.👏🏻 발표자분께서도 당황을 많이 하셨던 것 같습니다. 

 

 특히 질문 중에서 역시나 싶었던 것은 이루다가 이전에 악성 이용자들과의 대화를 그대로 학습하여 출시 3주 만에 서비스가 잠정 중단되었었는데 이에 대해 어떤 식으로 처리하였는지에 대해 묻는 질문이었습니다. 구체적인 처리 방식에 대해서는 기밀이라 말씀해주시지 못했지만 이루다에게 악성 질문을 하면 해당 사용자에게 패널티를 먹이는 방식으로 운영을 하는 것만으로도 효과가 좋았다고 합니다. 여담으로 이루다는 여자 중학생들에게 인기가 많다고 합니다.

 

6. Building large language models at scale

 

 마지막 발표는 래블업의 신정규 대표님께서 발표해주셨습니다. 이 섹션이 제가 이해하기 가장 어려웠던 주제였던 것 같습니다. 기억에 남는것은 구글 엔지니어들과 대화를 나눈 경험 등을 소개해준 게 인상 깊었는데 2017년에 구글은 언어모델 성능이 너무 좋으니까 오히려 깎는 실험을 한다는 것을 듣고 충격을 받았습니다.

 

 특히, 제가 요즘 관심 있게 보고 있는 분야가 AICC인데 구글 어시스턴트에서는 AI가 사람처럼 추임새를 넣으니까 오히려 유저들 입장에서는 거부감이 들고 만족도가 떨어진다는 말씀을 해주셨습니다. 

 

🍿 참여 후기

 ChatGPT부터 시작해서 스캐터랩의 이루다, AI 오픈소스 커뮤니티, 토스의 검색 등등 많은 유익한 정보들을 얻을 수 있어서 너무 좋았고 제가 컨퍼런스에 참여한 목적을 어느정도 달성할 수 있어서 좋았습니다. (제 목적은 챗봇의 현재와 미래 트렌드 파악이었습니다.) 

 

 실제로 참여하기 전까지는 만원이라는 금액이 아까워서 망설여졌지만 만원 이상의 값진 경험들을 할 수 있어서 후회는 없었습니다. 다만 아쉬운 점이 있었다면 알아들을 수 있는 내용이 많지 않다보니 다소 소극적으로 움직이게 된다는 점이었습니다.😭 만약에 내년에 다시 참가할 수 있게 된다면 좀 더 적극적으로 질문하고 사람들과 소통도 하면서 네트워킹 해보고 싶다는 생각이 들었습니다.