#IEEE 754
1개의 글
- 0.1 + 0.2 - 0.3으로 나누면 벌어지는 일: 5G 시뮬레이터의 NaN
5G 수신기 시뮬레이션의 느린 경로를 다시 구현해 11배 빠르게 만들고 원본과 결과를 비교하던 중, 원본 쪽에서 NaN을 발견했습니다. 0이어야 할 값에 남은 1e-21 크기의 허수가 0 검사를 통과해 나눗셈으로 폭주한 것이었고, 정밀도를 올린 쪽에서만 터졌습니다. 통신 전공이 아니어도 따라올 수 있도록 용어를 풀어 가며 추적 과정을 정리했습니다.