A casa foi construída por um alemão, Sr. Dick, em 1900, que a deixou em 1910, retornando para a Alemanha para prestar cuidados médicos a sua esposa. A casa foi vendida mobiliada para o Sr.Francisco da Costa Pires, exportador de café, que se mudou com esposa e sete filhos.
Em 1913, devido a problemas financeiros, a família Pires teve que se desfazer do imóvel, que passou a ser a sede do Asilo dos Inválidos.
Em 1921 os Pires, recompraram a casa e realizaram uma grande reforma.
O estilo arquitetônico da casa é eclético, e a decoração interna é arte noveaux. A escada é de mármore italiano (Carrara) e o corrimão de ferro maciço confeccionado pelo Liceu de Artes e Ofícios de São Paulo.
Originalmente não era tão luxuosa. Não havia o pequeno cômodo no pavimento intermediário (o quarto de costura); não existiam os afrescos nem o jardim de inverno. Todos esses ornamentos e cômodos foram adicionados na reforma de 1922.
Essa construção foi uma inovação por ser uma das primeiras casas construída totalmente isolada. Em Santos, a maioria das residências era geminada.
Havia outro sobrado no terreno que servia de alojamento aos criados e mantinha também duas salas de aula onde as crianças recebiam os professores. No jardim, havia também uma quadra de tênis e um pomar.
Os Pires viveram no casarão até 1935 quando, devido a problemas derivados pela quebra da bolsa, tiveram que vendê-lo definitivamente.
Durante dois anos, foi pensionato de moças.
Em 1937, a família Canero, de espanhóis, comprou a casa e foram seus últimos donos até esta ser considerada como patrimônio histórico e de utilidade pública, em 1979, através do Decreto 5645.
Finalmente, em 1986, com a emissão de posse garantida pela prefeitura, esta pôde iniciar uma completa restauração do casarão que só terminou em 1992.
Agora funciona como uma homenagem a Benedicto Calixto, pintor de Itanhaém. A casa, apesar de atualmente levar seu nome, jamais o teve como morador: ele, na verdade, passou a maior parte de sua vida em São Vicente.