Originally published at: NVIDIA CCCL을 활용한 부동 소수점 결정론 제어 기법 - NVIDIA Technical Blog
동일한 입력 데이터를 사용해 여러 번 연산을 수행했을 때 비트 단위까지 일치하는 결과를 도출한다면, 해당 연산은 결정론적(Deterministic)이라고 정의합니다. 언뜻 당연하고 단순해 보이는 속성일 수 있으나, 병렬 프로그래밍과 부동 소수점 연산이 개입되는 실제 현장에서는 이를 보장하기가 매우 까다롭습니다. 부동 소수점 덧셈과 곱셈은 엄밀히 따져 결합법칙이 성립하지 않기 때문입니다. 즉, 유한한 정밀도로 중간 결과를 저장할 때 발생하는…