Gerdau adquiriu de Manuel Garcia uma propriedade, na chamada Picada Morro Pelado, no município de Agudo, onde fixou residência e sua casa comercial. Na década de 1870 fundou a empresa João Gerdau & Cia, pela qual se dedicou ao comércio colonial e à colonização particular. Em 9 de fevereiro de 1875 João tornou-se um dos fundadores da Männergesangverein Hoffnung, o Coral Esperança, uma pequena sociedade. Na ata de fundação constavam ainda as assinaturas de outras trinta pessoas. Mais tarde foi realizada uma nova assembleia, na qual foram elaborados os estatutos e eleitos os nove membros da diretoria. Com quatro votos, João Gerdau foi eleito tesoureiro. Em 1883 João Gerdau montou uma nova casa comercial, situada na esquina da rua Sete de Setembro, defronte ao Mercado Público em Cachoeira do Sul. Comercializavam-se cevada, trigo, arroz, centeio, feijão, milho, etc. A antiga empresa em Agudo serviu ainda, durante muitos anos, como posto de compra de produtos coloniais, que eram enviados para o posto comercial de Cachoeira do Sul. Em 1895 Gerdau ingressou em Porto Alegre, onde se tornou sócio de uma empresa atacadista, formando a Gerdau & Naschold, que atuava com artigos “Seccos e Molhados en gros”. Estava situada na rua Pinto Bandeira, antigo nº 5, e vendia artigos importados de cervejaria, como máquinas, aparelhos, malte, lúpulo, rolhas, garrafas, etc. Além disso, a firma importava vinho (seco, suave, branco e tinto) diretamente de Jerusalém, Israel.