설명

추론 벤치마크는 구조화된 작업에서 진척도를 측정하는 유용한 방법입니다. 접근 방식과 결과가 공개적으로 공유되면 커뮤니티는 방법을 비교하고, 개선 사항을 재현하고, 더욱 효과적으로 반복할 수 있습니다.

오늘날 추론 능력 향상 연구는 여러 독립적인 연구들을 통해 진행되고 있으며, 각 연구마다 서로 다른 데이터셋, 문제 유형, 평가 방식을 사용하는 경우가 많아 직접적인 비교가 어렵습니다. 하지만 공통된 벤치마크와 기준 모델을 사용하면 다양한 기법들을 보다 일관성 있게 테스트하고 비교할 수 있습니다.

언어 모델은 여러 작업에서 뛰어난 성능을 보이지만, 구조적 추론 벤치마크는 여전히 활발한 연구 및 최적화 분야입니다.

본 대회에서 참가자들은 공유된 Nemotron 3 Nano 베이스라인과 NVIDIA Research에서 개발한 새로운 추론 벤치마크를 기반으로 작업하게 됩니다. Nemotron은 참가자들이 자신의 워크플로에 맞춰 구축하거나 수정할 수 있는 공개 모델, 데이터셋, 학습 레시피를 포함한 개방형 기반을 제공합니다.

다음과 같은 방법을 시도해 볼 수 있습니다.

• 촉진 전략
• 데이터 필터링 및 큐레이션
• 합성 데이터 생성
• 강화 학습
• 가벼운 미세 조정
• 또는 여러분이 선택한 다른 접근 방식

참가자는 LoRA 어댑터를 제작하기 위해 어떤 학습 프레임워크, 도구 또는 워크플로우든 자유롭게 사용할 수 있습니다. NVIDIA에서 제공하는 레시피는 선택적인 시작점일 뿐이며, 참가자는 Hugging Face, Unsloth, Axolotl, TRL 또는 유사한 도구와 같은 다른 생태계 및 라이브러리를 자유롭게 사용할 수 있습니다.

유일한 요구 사항은 최종 제출물이 Nemotron-3-Nano-30B 기본 모델과 호환되는 LoRA 어댑터를 제작해야 한다는 것입니다.

여러 가지 유효한 해결 경로가 예상됩니다. 재현성과 공동 학습을 지원하기 위해 노트북 및 보고서 작성 등 명확한 문서화가 권장되며 (수상 자격 요건 충족을 위해 필수 사항입니다).

이 과제는 모델, 데이터 세트 및 평가를 개방적이고 공유 가능한 환경으로 가져옴으로써 협업을 통한 반복 작업을 위한 기회를 창출하고, 다른 사람들이 연구하고 재사용하고 확장할 수 있는 개방형 추론 워크플로를 강화합니다.

평가

제출된 결과는 제공된 작업을 해결하는 정확도를 기준으로 평가됩니다 . NVIDIA Nemotron-3-Nano-30B 모델은 LoRA 어댑터(반드시 `<LikeList<True>` 태그가 포함되어야 함 adapter_config.json)를 사용하여 vLLM 추론 엔진으로 로드됩니다. 각 테스트 케이스에 대해 모델은 응답을 생성하도록 요청받고 최종 답변을 \boxed{}LaTeX 명령문 안에 배치하도록 지시받습니다. 메트릭은 생성된 텍스트에서 최종 답변을 추출하며, 박스 형식 내의 내용을 우선적으로 고려하고, 그렇지 않을 경우 다른 휴리스틱 패턴이나 마지막으로 발견된 숫자 값을 사용합니다. 예측은 문자열이 정확히 일치하거나 상대적인 수치 허용 오차 범위 내에서 실제 정답과 일치할 경우 정답으로 간주됩니다.최종 점수는 정답을 맞춘 문제의 비율입니다.

다음 링크에서 해당 측정 지표의 구현을 확인할 수 있습니다: NVIDIA Nemotron Metric . 다음 매개변수를 사용하여 실행됩니다.

제출 중

NVIDIA Nemotron-3-Nano-30B 모델용 LoRA 어댑터(랭크 최대 32)를 submission.zip파일 형태로 패키징하여 제출해야 합니다. NVIDIA Nemotron 제출 데모를 활용하여 제출물을 제작할 수 있습니다.

타임라인

• 2026년 3월 16일 - 시작일.
• 2026년 4월 9일 - 중간값 마감일
• 2026년 6월 8일 - 참가 신청 마감일. 참가하려면 이 날짜 전에 대회 규칙에 동의해야 합니다.
• 2026년 6월 8일 - 팀 합병 마감일. 참가자들이 팀에 가입하거나 팀을 합병할 수 있는 마지막 날입니다.
• 2026년 6월 15일 - 공모전 종료일 및 최종 제출 마감일.

별도의 언급이 없는 한 모든 마감일은 해당 날짜의 UTC 기준 오후 11시 59분입니다. 대회 주최측은 필요하다고 판단될 경우 대회 일정을 업데이트할 권리가 있습니다.

상품

수상 자격을 얻으려면 모든 팀은 제출물에 사용된 방법, 데이터 세트 및 기술을 문서화한 공개 Kaggle 노트북과 솔루션 설명서를 게시해야 합니다. 적격한 공개 문서가 없는 제출물은 수상 자격이 없는 것으로 간주될 수 있습니다.

최종 순위표 상품

• 1등 - 상금 25,000달러 + DGX Sparks 5대
• 2등 - 상금 15,000달러 + DGX Spark 2대
• 3등 - 상금 5,000달러 + DGX Sparks 1대

참고: 총 8대의 NVIDIA DGX Spark 시스템(대당 약 $4,699의 소매가)이 최종 순위에 따라 지급됩니다. 팀 구성원 수가 배정된 DGX Spark 시스템 수보다 적거나, 팀 구성원 중 수출, 배송 또는 지역 제한으로 인해 하드웨어 수령 자격이 없는 구성원이 있는 경우, 남은 시스템은 최종 순위에서 다음으로 높은 팀에 순차적으로 지급되며, 모든 8대의 DGX Spark 시스템이 지급될 때까지 계속됩니다.

각 참가자는 DGX Spark를 최대 1대까지만 받을 수 있으며, 공식적으로 등록된 팀 구성원만 하드웨어 경품을 받을 자격이 있습니다. NVIDIA는 하드웨어 경품 지급 전에 팀 구성원 자격 및 자격 여부를 확인할 권리를 보유합니다.

오픈 진행상 (중간 대회 이정표)

오픈 프로그레스 상금: 5,000달러 + DGX Sparks 1개

• 2026년 4월 9일 중간 집계일 기준으로 가장 높은 순위표 점수를 획득한 팀에게 수여됩니다 .
• 방법론 제출 마감일: 2026 년 4월 16일
• 수상자는 Cloud NEXT 행사(2026년 4월 22일~24일)에서 발표될 예정입니다.

마감일 기준으로 가장 높은 순위를 차지한 작품이 이러한 요건을 충족하지 못할 경우, 차순위로 자격을 갖춘 작품에 상이 수여됩니다.

동점일 경우, 예선 통과 작품을 가장 먼저 제출한 팀에게 상이 수여됩니다.

자격을 갖춘 참가자는 DGX Spark를 최대 1개까지 받을 수 있습니다.

자유기여상

오픈 기여상은 네모트론 모델을 사용하여 추론 성능을 의미 있게 향상시키는 기술을 인정하는 상입니다.

세 개의 상이 수여될 예정입니다.

• 최적의 데이터/합성 데이터 방식 - 1 DGX Spark
• 최고의 RL 방식 - 1 DGX Spark
• 최적의 미세 조정 방법 - 1 DGX Spark

참가자는 노트북에 연결되는 이 양식을 통해 출품작을 제출해야 하며 , 출품 부문을 명확하게 표시해야 합니다.

최종 순위표에서 상위 10% 안에 드는 작품만 공개 모집상 후보로 고려됩니다.

Google 클라우드에서 NVIDIA Blackwell 기반 컴퓨팅

이번 챌린지의 컴퓨팅 기반으로 NVIDIA RTX PRO 6000 Blackwell Server Edition GPU 기반의 G4 VM을 제공하기 위해 Google Cloud와 협력하게 되어 기쁩니다. G4 VM은 Nemotron 모델을 사용한 미세 조정 및 고처리량 추론에 매우 적합하므로, 실제 벤치마크에서 성능을 평가하면서 프롬프트, 데이터 파이프라인 및 튜닝 전략을 신속하게 반복할 수 있습니다.

NVIDIA RTX PRO 6000 Blackwell GPU는 추론 시 개방형 추론 모델을 효율적으로 처리하는 데 필요한 성능과 메모리를 제공하여 반응성이 뛰어난 평가 실행과 Nemotron 변형 개선에 따른 빠른 순위표 업데이트를 가능하게 합니다. 기본 Google Cloud G4 VM 및 해당 기능에 대한 자세한 내용은 여기에서 확인하세요 .

소환

Jamil C Semaan, Jean-Francois Puget, Christof Henkel, Yi Dong, Addison Howard, Ashley Oldacre, Ryan Holbrook, Chris Alexiuk, Rebecca Kao. NVIDIA Nemotron 모델 추론 챌린지. https://kaggle.com/competitions/nvidia-nemotron-model-reasoning-challenge, 2026. Kaggle.