Nasceu em São Manuel, no Estado de São Paulo. Depois de cursar o seminário menor em São Paulo, foi estudar Teologia em Roma e, no dia 12 de abril de 1941, foi ordenado sacerdote, na Basílica de São João de Latrão em Roma.
Após sua ordenação, voltou para o Brasil e foi trabalhar em São Paulo, onde exerceu diversas funções na área de educação e da formação dos seminaristas.
Com a criação da Diocese de Petrópolis, padre José foi convidado por Dom Manuel Pedro da Cunha Cintra para ir trabalhar na nova Diocese, a fim de assumir a direção do recém inaugurado Seminário Nossa Senhora do Amor Divino.
A sua posse como reitor aconteceu no dia 19 de abril de 1953, cargo que ficou até março de 1966, quando saiu para ser ordenado bispo-auxiliar de Petrópolis.
Durante o período em que foi sacerdote e bispo em Petrópolis, Dom Veloso dedicou-se também com muito empenho à Universidade Católica de Petrópolis (UCP), onde, por dezoito anos, foi professor, diretor da Faculdade de Filosofia, vice-reitor, reitor e grão-chanceler. Durante este período, com apoio de professores e amigos, conseguiu levar a UCP a ser reconhecida como uma das universidades mais importantes do país.
Ao assumir a Diocese em 1984, com a renúncia de Dom Cintra, seguiu os passos de seu antecessor e, acima de tudo, manteve-se firme na doutrina da Igreja e nas orientações do Papa João Paulo II, com quem se encontrou algumas vezes.
Em 1991, como bispo de Petrópolis, foi admitido pelo presidente Fernando Collor à Ordem do Mérito Militar no grau de Comendador especial.
Renunciou ao múnus episcopal por força da idade, em 15 de novembro de 1995.
Dom Veloso faleceu aos 90 anos de idade, após quatro dias de internação no Hospital São Lucas de Petrópolis por problemas cardíacos. Seu corpo foi sepultado na cripta destinada aos bispos da Catedral São Pedro de Alcântara.
