갤러리게시판

네이버마케팅 국내 AI에 수능 수학·논술 풀게 했더니…절반도 못 맞혀

페이지 정보

작성자 황준영 작성일25-12-19 07:48 조회23회 댓글0건

본문

네이버마케팅 국가대표 인공지능(AI)에 도전하는 국내 정예팀들의 거대언어모델(LLM)이 수능 수학문제 풀이 등에서 해외 모델에 크게 뒤처졌다는 시험 결과가 나왔다. LG 측은 “모델 특성을 고려하지 않은 시험”이라며 반박했다.
김종락 서강대 수학과 교수 연구팀은 국내 국가대표 AI 도전 5개 팀의 주요 LLM과 챗GPT 등 해외 5개 LLM에 수능 수학 20문제, 논술 30문제를 풀게 한 결과 이같이 나타났다고 15일 밝혔다.
연구팀은 수능 문제로는 공통과목, 확률과 통계, 미적분, 기하에서 가장 어려운 문항 5개씩을 뽑아 20문제를 설정했다. 또 논술은 국내 10개 대학 기출 문제와 인도 대학 입시 10문제, 일본 도쿄대 공대 대학원 입시 수학 10문제를 풀게 했다.
한국 모델로는 업스테이지의 ‘솔라 프로-2’, LG AI연구원의 ‘엑사원 4.0.1’, 네이버의 ‘HCX-007’, SK텔레콤의 ‘A.X 4.0(72B)’, 엔씨소프트의 경량모델 ‘라마 바르코 8B 인스트럭트’를 활용했다. 해외 모델에는 GPT-5.1, 제미나이 3 프로 프리뷰, 클라우드 오푸스 4.5, 그록 4.1 패스트, 딥시크 V3.2가 쓰였다.
그 결과 해외 모델은 76~92점을 받았지만, 한국 모델은 솔라 프로-2만 58점을 받았을 뿐 나머지는 20점대 낮은 점수를 기록했다. 라마 바르코 8B 인스트럭트는 2점으로 가장 낮은 점수를 받았다.
이어 연구팀은 대학교 수준부터 교수급 논문 연구 수준까지 난이도를 세분화한 자체 문제 세트 ‘엔트로피매스(EntropyMath)’ 100문제 중 10문제를 구성해 10개 모델들에 풀게 했다. 여기서도 해외 모델은 82.8~90점을 기록했지만, 국내 모델은 7.1~53.3점으로 낮았다.
이번 시험 결과는 ‘AI 3강’을 목표로 내건 국내 LLM 개발 정예팀들의 실력이 국제적 수준에 한참 못 미친다는 ‘지표’로 해석되며 적잖은 파장을 낳았다.
이날 LG AI연구원이 자체 시험 결과를 공개하며 ‘반박’에 나섰다. 서강대 연구진이 뽑은 수능 수학문제 20개 문항을 LG AI연구원이 ‘엑사원 4.0.1’에 다시 풀어보게 했더니 88.75점이 나왔다는 것이다. 서강대 연구진 측정 결과(35점)의 2배를 넘는 결과다. LG AI연구원 측은 자체 시험이 “통상적인 AI 모델 수학 벤치마크 테스트 방식”으로 진행됐다고 설명했다.
LG AI연구원 관계자는 “엑사원 4.0.1은 일반·추론 통합모델로, 추론 기능을 작동시키기 위해서는 특정 프롬프트가 필요한데 이를 고려하지 않은 것으로 보인다”며 “(서강대 시험은) 모델 특성을 고려하지 않고 측정했기 때문에 점수가 낮게 나왔던 것으로 보인다”고 설명했다.
경남도는 도청에 ‘세원관리전담팀’ 가동한 이후 128억 원의 숨은 세원을 발굴했다고 16일 밝혔다.
도는 지방세 누락 세원 발굴 등을 위해 세정과 안에 세원관리전담팀을 신설했다.
도와 창원시·함안군·함양군 등 3개 시군에서 파견된 직원들이 지난 1년 동안 모든 시군을 대상으로 지방세 전반에 대한 컨설팅을 진행했다.
이러한 컨설팅은 전국 최초 사례로, 현장 중심의 적극 행정은 성과로 나타났다.
취득세 등 세율 적용 적정성, 과세표준액 적용 여부, 지역자원시설세 과세 실태, 재산세 토지 형태 적용 적정성 등 4개 분야 11개 항목을 체계적으로 점검한 결과 과세 사각지대에 놓여 있던 128억 원을 숨은 세원을 찾았다. 애초 목표한 100억 원보다 높은 성과다.
박현숙 경남도 세정과장은 “이번 세원 컨설팅은 단순한 세수 확보를 넘어 법에 따른 공정 과세 원칙을 확립하기 위한 첫걸음”이라며 “성실 납세자는 보호하고 탈루·누락 세원에 대해서는 철저히 관리하겠다”고 말했다.

댓글목록

등록된 댓글이 없습니다.

댓글쓰기

이름 필수
비밀번호 필수
비밀글사용
자동등록방지	자동등록방지 자동등록방지 숫자를 순서대로 입력하세요.
내용

네이버마케팅 국내 AI에 수능 수학·논술 풀게 했더니…절반도 못 맞혀 > 갤러리게시판

MAC CUSTOMER CENTER

네이버마케팅 국내 AI에 수능 수학·논술 풀게 했더니…절반도 못 맞혀

페이지 정보

관련링크

본문

댓글목록