É necessário estabelecer a consulta que é usada como primeiro argumento da expressão entre parênteses.
SELECT IFNULL( ( SELECT A."DocEntry" FROM (SELECT T."DocEntry" FROM "TESTB" AS T) A ),'S') FROM "TESTA"
E, claro, uma condição prévia é que essa consulta retorne no máximo uma linha; caso contrário, você receberá um erro indicando que não são permitidos resultados com mais de uma linha.