Nesse período inicial de guarda com seu tio, Manuel José de Carvalho, no interior de São Paulo, Irineu foi alfabetizado. Aos nove anos de idade, Irineu seguiu com outro tio, José Batista de Carvalho, comandante de embarcação da marinha mercante, que transportava em seu navio couros e charque do porto do Rio Grande para o Rio de Janeiro, então capital do Império do Brasil.