Функция возвращает булевое значение, через CF. Если не отработала функция, то в третий параметр (r8) пихаем 0.
Не хотел городить
mov rax, 1
jmp .l1
mov rax, 0
.l1:
ret
Хотя вышеприведенный код можно было бы переписать как test rax, rax
jz .l1
inc rax
.l1:
ret