Existem várias razões pelas quais o PHP pode não estar sendo executado.
Primeiramente, sugiro que verifique a fonte do que está sendo exibido.
Seu navegador pode estar exibindo apenas "Este é o cabeçalho 1", mas ao verificar a fonte (clique direito>Ver código-fonte), você pode notar que as tags PHP ainda estão presentes, mesmo que não estejam sendo exibidas.
Isso obviamente significaria que o PHP não está sendo executado.
Você também pode tentar usar phpInfo() para verificar como (se estiver sendo executado) sua instalação do PHP está configurada.