코드를 보면 일단 $a$와 $b$에 관련된 값이 $a+b$밖에 없음을 알 수 있습니다. 이 값을 $c$라고 합시다.

j와 k 루프는 $1+2+\cdots +(c-1)=\frac{c(c-1)}{2}$번의 반복 횟수를 갖습니다. 바깥쪽의 i 루프는 이와 독립이므로 여기에 $c$를 곱한 만큼 반복되므로, $\frac{c^2(c-1)}{2}$를 구해서 출력하면 됩니다.

LLVM 기반 컴파일러 (Clang, Rust)의 경우, 지문에 주어진 것과 같은 형태의 나이브 루프의 결과를 분석하여 $\mathcal{O}(1)$ 코드로 만들어버릴 수 있습니다. 실제로 문제의 코드를 그대로 복붙하여 입출력만 추가한 코드가 C2x (Clang)으로 제출 시 통과하는 것을 확인할 수 있습니다.