기술 트렌드
클로드가 빌 게이츠만큼 코딩하면 ‘초인적’일까
글 · 정우석
클로드가 개발자만큼 코드를 잘 짜면, 곧바로 인간을 넘어선 지능이라고 불러도 될까. 11월 13일 Jan Schaumann이 공개한 ‘The Claude Delusion’은 성능보다 성능을 해석하는 사람의 자신감을 겨냥한다. 성공한 개발자가 자기 전문성을 만능 지능으로 착각하면, 자신과 비슷한 AI도 과대평가하게 된다는 비판이다. 제공된 Hacker News 집계에서 133점과 댓글 180개를 모은 이 글은 AI의 실력과 업계의 자기평가를 분리하자는 논쟁을 불렀다. 원문 재게시
표적은 빌 게이츠가 인터뷰에서 설명한 두 가지 놀라움이다. 생물학 AP 시험에서 높은 성적을 얻은 오픈AI 모델, 그리고 자신의 코딩 실력에 견줄 만큼 발전한 클로드를 보고 받은 충격이다. 저자는 개인의 감탄에서 ‘초인적 능력’이라는 결론으로 넘어가는 추론을 문제 삼지만, 이 글 자체가 클로드의 성능을 측정한 연구는 아니다.
여기서는 비판에도 검증이 필요하다. 게이츠는 2023년 글에서 2022년 9월 GPT가 AP 생물학 객관식 60문항 중 59개를 맞혔으며, 서술형 6문항까지 외부 전문가가 채점해 최고 등급인 5점을 받았다고 설명했다. 적어도 당시 시험 결과를 그가 혼자 판단한 인상평으로 축소하면 중요한 평가 절차를 놓친다. 게이츠의 설명
- 시험 성적: 정해진 문제와 채점 기준에서 얻은 성과이며, 생물학 연구 전체를 수행할 능력까지 입증하지는 않는다.
- 코딩 능력: 특정 개발자와 비슷하다는 평가는 출발점이고, 낯선 저장소에서의 수정 정확도와 검토 시간은 별도로 확인해야 한다.
- 에이전트 책임: 프로그램의 행동을 ‘일탈’이라고 부르더라도 실행 권한과 배포 조건을 정한 사람의 책임은 남는다.
인사이트
AI의 특정 능력을 인정하는 것과 포괄적인 지능을 인정하는 것은 서로 다른 판단이다. 기업의 도입 기준은 유명인의 감탄보다 검토·재작업까지 포함한 업무 성과에 가까워져야 한다.
자주 묻는 질문
- 이 글은 클로드가 코딩을 못한다는 얘기야?
- 아니다. 이 글은 클로드의 코딩 성능을 실험으로 반박한 연구가 아니라, 개발자가 자신과 비슷한 AI를 곧바로 초인적 존재로 평가하는 논리를 비판한 논평이다. [원문 재게시](https://readflow.org/article/576547/)
- AI가 생물학 시험에서 최고 점수를 받은 건 사실이야?
- 게이츠의 2023년 설명에 따르면, GPT는 AP 생물학 객관식 60문항 중 59개를 맞혔고 서술형을 포함한 외부 전문가 평가에서 최고 등급인 5점을 받았다. 이는 해당 시험에서의 성과이며, 생물학 연구 전반을 독립적으로 수행할 능력을 입증한 결과는 아니다. [게이츠의 설명](https://www.gatesnotes.com/the-age-of-ai-has-begun)
- 그럼 우리 회사는 AI 코딩 도구를 뭘 보고 평가해야 해?
- 실제 업무를 대표하는 과제에서 수정 정확도, 검토·재작업 시간, 도구 사용료를 함께 비교하는 방식이 적절하다. 에이전트가 직접 작업을 실행한다면 사람의 개입 횟수와 실패 후 복구 비용도 평가 항목에 넣을 수 있다.
이 기사 어땠어요?
피드백을 남겨주시면 더 나은 맞춤 추천을 만듭니다.