Necesitas establecer la consulta que se utiliza como primer argumento de expresión entre paréntesis.
SELECT IFNULL( ( SELECT A."DocEntry" FROM (SELECT T."DocEntry" FROM "TESTB" AS T) A ),'S') FROM "TESTA"
Y, por supuesto, una condición previa es que esta consulta devuelva como máximo una fila; de lo contrario, obtendrás un error que indica que no se permiten resultados con más de una fila.