논문 브리핑
연산은 1% 늘었는데 학습은 27% 느려졌다…SimpleHC가 연결을 줄인 이유
글 · 한경모
AI 학습비를 줄이는 열쇠가 계산량보다 데이터 이동에 있을 수 있다는 연구가 나왔다. 11월 4일 Xiangdong Zhang 등 상하이교통대·샤오홍슈 Dots Studio 공동 연구진이 공개한 SimpleHC는 모델 내부 연결을 덜어내면서 성능을 유지하는 설계다.
출발점은 앞선 층의 정보를 다음 층으로 전달하는 잔차 연결이다. Hyper-Connections(HC)는 이 통로를 여러 갈래로 넓히고, 정보를 읽고 쓰는 비중과 통로끼리 섞는 방식을 학습한다. 후속 설계 mHC는 혼합 과정에 제약을 걸어 안정성을 높였지만, 연구진의 구현에서는 추가 연산량이 1% 미만인데도 학습 시간이 7~27% 늘었다.
문제는 넓어진 중간 상태를 층마다 반복해서 메모리에서 읽고 쓰는 데 있었다. 연구진은 구성 요소를 분리하는 실험으로, 학습 가능한 읽기·쓰기 조절 장치만 남겨도 mHC에 견줄 성능이 나온다는 점을 확인했다. SimpleHC는 통로 사이의 혼합을 없애고, 네 개 하위 층이 묶음의 시작 상태를 공유하도록 실행 방식까지 바꿨다. 층마다 다른 조절값을 유지하면서 읽기는 모으고 쓰기는 뒤로 미루며, 앞선 층의 출력 기여는 스칼라 보정으로 보존한다.
비교할 숫자는 세 가지다.
- 데이터 이동: 네 갈래 통로와 네 하위 층 묶음에서 토큰·하위 층당 논리적 순전파 메모리 접근량을 18C에서 9C로 줄였으며, C는 통로의 너비다.
- 모델 성능: 전체 파라미터 300억 개의 MoE에서 14개 벤치마크 평균은 SimpleHC 63.1점, mHC 62.9점으로 비슷했다.
- 실행 비용: 너비 6144의 측정에서 기본 잔차 연결 대비 추가 학습 시간은 mHC 약 7.0%, SimpleHC 2.4%였다. 연구진 자료
인사이트
SimpleHC는 연산량만으로 AI 학습 비용을 설명하기 어렵다는 점을 보여준다. 모델 구조와 메모리 접근을 함께 설계하는 능력이 같은 GPU 예산에서 성능을 확보하는 경쟁력이 될 수 있다.
자주 묻는 질문
- 메모리 접근이 절반이면 학습도 두 배 빨라져?
- 아니다. 절반으로 줄었다는 수치는 특정 설정의 잔차 연결 관련 논리적 순전파 메모리 접근량이며, 전체 학습에는 다른 연산도 포함된다. 너비 6144에서 기본 모델 대비 추가 학습 시간은 mHC 약 7.0%, SimpleHC 2.4%였다. [측정 조건](https://github.com/aHapBean/SimpleHC)
- 층들이 같은 정보를 보면 앞선 계산 결과를 놓치지 않아?
- SimpleHC는 묶음의 시작 상태를 공유하되 층별 조절 장치는 따로 유지한다. 주어진 조절값에 대해 앞선 하위 층의 출력 기여를 스칼라 보정으로 보존하므로, 중간 계산 결과를 단순히 버리는 방식은 아니다. [설계 설명](https://arxiv.org/html/2611.05984v1)
- 지금 코드 받아서 내 모델에 적용할 수 있어?
- 공개 저장소에는 기술 보고서와 설명 자료가 있으며, 학습 코드와 전용 커널은 향후 공개 가능성을 안내하고 있다. 보고된 효율을 재현하려면 모델 구조 변경뿐 아니라 최적화된 실행 구현도 필요하다. [공개 저장소](https://github.com/aHapBean/SimpleHC)
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.