서울대학교 공과대학 전기정보공학부 한보형 교수 연구팀이 LG AI연구원과 공동으로, 이미 학습된 AI 모델을 처음부터 다시 학습하지 않고도 더 큰 전문가 AI 모델로 확장할 수 있는 기술을 개발했다. 연구 결과는 컴퓨터비전 분야 최고 권위 국제학술대회인 CVPR 2026에 채택됐다.
이번에 개발한 '군집 인식 업사이클링(Cluster-aware Upcycling)' 기술은 기존 사전학습 모델을 전문가 혼합 구조(Mixture-of-Experts, MoE)로 전환하는 과정에서, 모델 내부에 이미 형성된 의미 구조를 활용해 각 전문가 모듈이 서로 다른 특징의 입력을 담당하도록 역할을 분화시키는 것이 핵심이다.
전문가 혼합 구조는 하나의 생성형 AI가 다양한 요청을 처리할 때 모든 모듈을 사용하는 대신, 입력 토큰의 특징에 적합한 일부 전문가 모듈만 선택적으로 활용하는 방식이다. 이를 통해 모델의 전체 지식과 처리 능력을 확대하면서도 계산량 증가는 줄일 수 있다.
기존에는 이미 학습된 모델의 가중치를 여러 전문가 모듈로 복제하는 '희소 업사이클링'이 사용됐으나, 모든 전문가가 동일한 가중치에서 시작해 학습 초기에 역할 구분이 어려운 문제가 있었다. 연구팀은 사전학습 모델 내부에서 의미적으로 유사한 입력들이 이미 군집을 이루고 있다는 점에 착안해, 각 군집의 특성을 반영해 전문가 모듈을 서로 다르게 초기화하고, 라우터(입력 분배기)도 무작위로 두지 않고 각 군집의 중심값으로 초기화했다.
또한 전문가 배정이 불확실한 토큰에 대해서는 모든 전문가의 출력을 종합한 앙상블 모델의 예측을 추가 학습 신호로 제공하는 '전문가 앙상블 기반 자기증류' 기법을 함께 도입해, 역할이 모호한 토큰에 강하게 작용하고 명확한 토큰에는 영향이 적어 전문가별 역할 분화를 강화했다.
연구팀은 대표적인 시각-언어 모델인 CLIP에 이 방법을 적용하고, 제로샷 환경(별도의 데이터셋 추가 학습 없이 새로운 데이터 평가)에서 성능을 검증했다. 그 결과, 이미지·텍스트 검색과 다양한 이미지 분류 평가에서 기존 희소 업사이클링 방식보다 일관되게 높은 성능을 보였다. 예컨대 다양한 자연 이미지 과제를 포함하는 VTAB-Natural에서는 평균 정확도가 62.0%에서 63.3%로, 학습 데이터와 분포가 다른 ObjectNet에서는 42.3%에서 43.5%로, 이미지 형태와 표현 방식이 달라진 ImageNet-R에서는 71.2%에서 72.1%로 각각 향상됐다.
또한 전문가 간 가중치와 내부 표현의 유사성이 감소하고 라우터의 불확실성도 줄어, 전문가들이 균형 있게 활용되는 것으로 확인됐다.
한보형 교수는 “이번 연구는 사전학습 모델을 전문가 혼합 구조로 전환할 때 기존 가중치를 단순히 복제하는 데 그치지 않고, 모델 내부에 이미 형성된 의미 구조를 활용해 전문가 모듈의 역할 분화를 유도했다는 점에서 의미가 깊다”며 “향후 더 큰 규모의 시각-언어 모델과 대규모 언어모델뿐 아니라 의료 등 다양한 분야에서도 제안 방법의 확장성과 효율성을 검증해 나갈 계획”이라고 밝혔다.
이번 연구는 과학기술정보통신부와 정보통신기획평가원(IITP)의 지원을 받아 수행됐다.