Depois dirigiram-se ao Paço Episcopal para interrogarem o bispo. Note-se que os australianos tinham invadido essa ilha para não servir aos japoneses de testa de ponte para a Austrália.
Durante o interrogatório ao bispo tocou o telefone. Um japonês foi atender e ouviu a voz de um australiano a perguntar onde é que estavam os japoneses.
Foi logo de baioneta desembainhada contra o bispo, mas um oficial impediu-o e disse-lhe: "Agora temos provas certas que o senhor colabora com os nossos inimigos".
"Posso eu impedir que alguém me faça perguntas? Se fosse eu a perguntar, era outro caso".
Assim se encerrou este incidente.
O comandante da forças expedicionárias australianas havia dado ao bispo a senha para ele poder circular por toda a parte.
Um dia o bispo dirigiu-se ao Quartel General Australiano. Quando o sentinela lhe apontou a espingarda ele esqueceu-se da senha e ia ser fuzilado quando, entretanto, se recordou dela. Foi este o pior momento da sua vida.
No entanto, os americanos bombardearam a sua catedral e ele teve de se servir de uma casa em ruínas para o serviço religioso.
Um português disse-lhe após a guerra: "Senhor bispo qualquer dia vem tudo abaixo". Ele respondeu-lhe: "Se vier, não mata nenhum português. Porque os portugueses não frequentam a igreja".
D. Jaime foi meu companheiro no Seminário de S. José, de Macau, e eu posso testemunhar que ele era de uma infinita paciência.
Os colegas pregavam-lhe muitas partidas, mas ele suportava tudo sem se alterar.
Em Timor fez o mesmo. A sua avançada idade levou-o a pedir à Santa Sé um coadjutor. A Santa Sé anuiu ao seu pedido, nomeando D. António Ribeiro, mas este em vez de o auxiliar, recusava qualquer ofício, levando D. Jaime a pedir a sua resignação, o que lhe foi concedido. Vindo a falecer nos Açores, aos 89 anos de idade.
