Verilog 논문이 오픈소스 LLM 3종을 50개 과제로 평가했다

세 대학이 재현 가능한 Verilog 벤치마크를 발표했습니다. 연구진은 NMIMS Hyderabad, IIT Roorkee, BITS Pilani 소속입니다. 오픈소스 대규모 언어 모델(LLM) 세 종에 회로 유형을 아우르는 과제 50개를 적용했습니다. 저는 과제 수보다 같은 시험을 되풀이할 수 있게 한 점이 먼저 눈에 들어왔습니다. 그래야 모델 성능에 관한 주장을 같은 조건에서 다시 확인할 수 있습니다.

Tokenless AI는 EnvCheck를 세 벤치마크에 적용했습니다. Terminal-Bench, DeepSWE, BFCL에서 보상 해킹과 채점 버그 110건을 찾았다고 공개했습니다. 이 사례는 LLM 벤치마크 점수의 신뢰성과 맞닿습니다. Verilog 평가는 구문과 시뮬레이션 결과를 나눠 보여줍니다. 점수가 실제 동작을 얼마나 반영하는지도 따져 볼 수 있습니다.

이 벤치마크는 구문 검사에서 멈추지 않고 회로 동작도 함께 평가합니다. 평가 절차는 세 모델의 평균 구문 유효성(syntactic validity)을 0%에서 70.43%로 높였습니다. 시뮬레이션(simulation) 통과율은 51.8%입니다. 코드가 문법에 맞는지와 회로가 동작하는지를 따로 살펴볼 수 있다는 점이 반갑습니다.

다만 50개 과제는 선별된 표본이라 실제 회로 업무 전체를 대표하지 않습니다. 평균 70.43%만으로는 세 모델 사이의 차이나 어떤 설계 유형에서 실패했는지 알 수 없습니다. 이 수치는 실제 도입 여부를 정하기보다 후보 모델을 좁히는 첫 비교로 쓸 때 더 의미가 있습니다.

오늘 Verilog 생성 모델을 검토하신다면, 자주 쓰는 회로 두세 개에 같은 요구사항을 주십시오. 구문 검사와 시뮬레이션 결과를 각각 기록하십시오. 구문은 통과했는데 시뮬레이션이 실패한다면, 문법 점수만으로 결과를 채택할 수 없다는 뜻입니다. 한 과제에서 출력 파형이 기대한 동작과 맞는지 직접 확인해 보십시오.

마지막으로 모델이 만든 Verilog를 문법 검사 뒤 시뮬레이션까지 확인한 것은 언제입니까?