Em 1803 o Coronel Martim Francisco Ribeiro de Andrada, irmão de José Bonifácio, era inspetor das minas e matas da província de São Paulo e, nas viagens ao Morro do Ferro (10), examinou cuidadosamente as suas jazida.
Tomando conhecimento dos trabalhos do Coronel Cândido Xavier e João Manso, concordou com eles relativamente à nova localização do açude e da usina; foram, pois abandonados de todo os locais antigos e tudo estava encaminhado para o surto d Fábrica de Ferro de Ipanema. Releva notar que a nova escolha era criticável num ponto importante: o local ficava quase a uma légua de distância das jazidas.
Em sua monografia sobre Rafael Tobias (pág . 120), diz o Cônego Luís Castanho de Almeida (1904-1981) que Martim Francisco, em sua viagem de 1803, ficou conhecendo o reizinho (apelido familiar de Tobias). Ao mesmo deu aulas de francês, latim e filosofia , quando fundou um curso gratuito em 1805. O primeiro encontro é plausível, porque Tobias, tendo nascido em 1794, não estava longe dos 10 anos quando o Andrada passou por Sorocaba. Pode- se mesmo conjeturar que ele fosse hóspede de seus progenitores.
Em 1803 iniciou Varnhagen o seu estágio e, três anos mais tarde, constituía família, casando-se com D. Maria Flávia de Sá Magalhães, dama portuguesa pertencente a uma família de destaque. Sobrevêm infelizmente a invasão das forças napoleônicas em Portugal, sob o comando de Junot. Varnhagen alista-se como voluntário e no fim da campanha tinha conquistado galões de capitão.
O terreno é barrento amarelo esbranquiçado mais ou menos, geralmente muito silicoso, talvez por efeito da decomposição dos bancos de grés; estes estão cobertos por cima de uma crosta ferruginosa. Observam-se, em diferentes partes deste caminho, seixos de quartzo rolado, e bancos de uma argila branca tirando à cinzenta, mais ou menos pura.
Não devo passar em silêncio de que vi nesta digressão homens, cuja catadura era mourisca sem tirar nem pôr; se em Portugal se vierem com o tempo a perder pela mistura da raça as feições mouriscas, que nos são tão próprias, para as fazer reviver, será bom recorrer a esta capitania, onde as há em toda a sua pureza.
A vila de Sorocaba não tem regularidade alguma, suas casas, bem que mais altas do que as de Itu, estão semeadas aqui e acolá, de sorte que se não observa alinhamento algum em ruas; ela contém quatro igrejas, a matriz, uma capela de Santo Antonio, outra do Rosário, e um hospício de frades bentos; seu comércio reduz-se à venda das tropas de gado, vindas do sul.
A cultura geral desta vila e seus contornos consiste em milho, feijão, algodão, pouco café, e alguma cana de açúcar; já conta doze fábricas de açúcar, e outras de águas ardentes. Sua povoação monta a 9.712 habitantes; deve porém meter-se nesta conta imensidade de surdos, insensatos, e muitos com a moléstia dos papos; ignora-se a que causas se devam atribuir semelhantes enfermidades; seria bem útil e até digno de elogio, que o ministério encarregasse médicos hábeis desta indagação, a fim de ver se do conhecimento das causas seria possível o deduzir-se um pronto remédio; pois de outro modo de que servem homens inúteis às precisões da sociedade?
Eu tive a ventura de ter tido na alvorada da vida um mentor venerável, um mestre ilustrado e probo, um meu patente e amigo, o finado conselheiro Sr. Martim Francisco Ribeiro de Andrada; dele recebi as primeiras ideias de política e moral, que depois se arraigaram no meu espírito com a leitura e estudo próprio. Desde então aprendi que o homem tinha qualidades que o separavam inteiramente da bruta animalidade, que lhe constituíam uma natureza moral que não pertencia ao mundo animal, puramente físico, que a espontaneidade e a consciência, que os outros animais não possuíam lhe criavam direitos e deveres anteriores aos governos, que só foram inventados para segurar-lhes o gozo.
