В Википедии есть статья «NaN».

Международное обозначение

Аббревиатура.

комп. сокр. от Not-a-Number, «нечисло» — состояние числа с плавающей запятой, обозначающее неопределённый результат математической операции ◆ Например, вы передаёте функции asin() некоторое значение, а она возвращает угол, для которого переданное значение является синусом. Однако значение синуса не может быть более 1, в силу чего функция не определена для значений, превышающих 1. В таких случаях функция возвращает значение NaN С. Прата, «Язык программирования C» / перевод Ю. И. Корниенко, Н. А. Мухина, В. Д. Цекича, С. А. Шестакова, 2013 г. [Google Книги]