Assim, em fins daquele ano de 1654, já tendo construído sua casa-grande nas proximidades do local onde hoje é o bairro do Lageado e a capela (a atual igreja de Santa Ana, do Mosteiro de São Bento), reuniu Baltazar Fernandes toda a família, inclusive genros, outros parentes e amigos, bem como seus quatrocentos escravizados nativos, e se estabelece definitivamente nas paragens de Sorocaba.

"Estávamos no segundo semestre do ano de 1654, quando a grande caravana de gente, animais e bens materiais aportava à paragem, denominada Apoteribu, mais exatamente a três léguas e meia do Morro de Araçoyaba, onde é fundada uma capela em honra a Nossa Senhora da Ponte e em torno da qual os parnaibanos se fixam", narram em os escritos os historiadores sorocabanos.