Filho de Manuel Fernandes Ramos e Suzana Dias, era bisneto por parte de mãe do famoso João Ramalho e da índia Bartira. Baltasar Fernandes, nasceu em São Paulo, onde hoje está situado o bairro do Ibirapuera, em 1580. Fez várias entradas nos sertões em busca de índios. Mão de obra escrava de alto valor naqueles tempos. Em 1636, com pouco mais de 56 anos, voltava de uma das grandes campanhas contra as Reduções do Tape, no Guairá, juntamente com sua gente e cerca de 400 peças índias e fazem parada no Itavuvu, onde é recepcionado por um pequeno grupo de moradores. Por estar abandonado o pelourinho no alto do Araçoiaba, o mesmo é trazido e instalado no Itavuvu e em homenagem ao rei Felipe II aquele aglomerado de choupanas recebe o nome de Vila de São Felipe. Seria o embrião da futura Sorocaba.
