한국과학기술정보연구원(KISTI)은 사람과 의사소통하는 인공지능 언어모델을 집중적으로 분석한 ‘KISTI 이슈브리프’를 발간했다고 10일 밝혔다.
이슈 브리프 53호 '언어모델, 사람과 소통하다'에는 챗GPT의 등장으로 관심을 끄는 언어 모델에 대해 중점 분석했다.
ChatGPT의 등장으로 인해 사람의 언어를 이해하는 기술에 대한 관심이 고조되는 가운데 각국은 다양한 언어·문화·지식 분야에 걸친 정보를 포함하는 인공지능 파운데이션 모델(Foundation Model)을 경쟁적으로 개발하고 있다.
2015년 컨벌루션 뉴럴네트워크 기반 ResNet이 비전 분야에서 사람의 인지 성능을 넘어선 이후, 2019년 언어 분야에서 구글의 트랜스포머(Transformer) 인코더(Encoder)를 활용한 버트(BERT) 모델이 사람의 언어 인지 성능을 돌파했다.
▲ 딥러닝 기반 언어모델 분류 (이미지 출처=KISTI)
언어모델의 성능 발전에 있어 모델의 크기는 파라미터(Parameter)로 결정되며, 점차적으로 학습을 위한 파라미터와 데이터는 폭발적으로 늘려 지식을 잘 축적하는 방향으로 발전하고 있다.
2020년 모델크기 175billion의 GPT-3는 우수한 작문 실력을 갖추도록 학습되었으며, 해당 모델 학습을 위해 필요한 GPU자원은 상상을 초월한다.
자연어 처리(NLP) 시장 규모는 2017년 30억달러 대비 2025년에 430억 달러수준으로 14배정도 성장할 것으로 예측되고 있다.
자연어 처리의 핵심이 되는 언어모델은 챗봇(ChatBot)과 같은 대화형 AI 서비스 형태로 제공되고 있으며, 주요 기업으로는 마이크로소프트(Microsoft), 구글(Google), IBM, 메타(구 페이스북), 바이두 등이 있다.
▲ 연도별 언어보델 개발 현황과 모델 크기의 증가 추이(이미지 출처=KISTI)
언어모델은 글로벌 빅테크 기업들을 위주로 발전이 진행되었으며, 국내에서도 네이버의 하이퍼클로바(Hyper-Clova), 카카오 브레인의 KoGPT, LG의 엑사원 등 한국어 기반의 초거대 언어모델을 개발하고 있다.
KISTI는 과학기술 분야의 연구를 지원하기 위해 한국어에 특화된 사전 학습모델KorSci-BERT, KorSci-ELECTRA를 공개하였다. 또한 영어 문서의 처리에 강점이 있는 SciDeBERTa 모델을 개발해 공개했다. SciDeBERTa 모델은 SciERC데이터를 활용한 개체명인식(Named Entity Recognitioin) 분야에서 전세계 1위를 달성했다. 이 모델들은 국내외 연구자들이 이용할 수 있도록 AI모델 커뮤니티인 깃허브(GitHub)와 허깅페이스(Huggingface)에 공개하고 있다.
자연어 생성 모델을 기반으로 개발되기 시작한 챗봇은 간단한 질의응답 수준의 대화형 서비스 수준을 넘어 수학문제 해결, 작문, 코딩, 번역, 교육, 창작 등의 서비스를 제공하는 다양한 도구로 활용 될 수 있다.
2020년 마이크로소프트사가 OpenAI의 GPT 시리즈 언어모델에 대한 라이선스 독점 계약을 하였으며, 최근 화두가 되고 있는 GPT계열의 언어모델과 ChatGPT의 유료화가 강행되었다.
KISTI는 보고서를 통해 초거대 언어모델을 학습하기 위해선 AI 전문 인력, 초거대 텍스트 데이터, 슈퍼컴퓨터 급의 하드웨어 인프라가 필요하므로 거대 자본의 투입이 불가피하다고 분석했다.
또 국내에서도 해외 AI 모델로부터 독립적이며 차별적인 AI 기술력을 확보하기 위해 연구진들의 협력을 통한 전략을 마련해야 하고, 국가 차원에서의 투자가 이루어져야 할 것이라고 제언했다.
이러한 언어모델들은 사용자들에게 잘못된 정보를 제공하지 않도록, 국가별로 상대적인 문화를 이해할 수 있도록, 공통적인 윤리를 지킬 수 있도록, 어떠한 형태로든 차별이 없도록 개발돼야 하고, 글로벌 AI 경쟁에서 국내의 기술력이 리더십을 가질 수 있도록 전략을 갖춰야 한다.
사람들과 자연스러운 대화 방식의 AI에 대한 의존성은 점차 높아질 것으로 예상되기 때문에, 정확하지 않거나 편향된 정보를 사용자들이 무분별하게 받아들일 수 있다. 이러한 기술들이 올바르게 사용될 수 있도록 성별, 연령, 장애, 지역, 인종, 종교, 국가 등 어떠한 형태로든 편향과 차별이 없도록 개발돼야 한다.
글. 이지은 기자 smile20222@gmail.com | 사진 및 자료출처 = KISTI(한국과학기술정보연구원)