O Museu ocupou algumas salas no nono andar do Palácio Gustavo Capanema, no centro do Rio de Janeiro, desde sua criação, em 1961, até meados de 1986. Em agosto deste ano, foi transferido para o bairro de Botafogo, instalado em um casarão de estilo neoclássico do final do século XIX.
Esse casarão, situado à rua Sorocaba, 200, foi tombado pelo Iphan em 1967, como parte integrante de um conjunto residencial característico de uma época, constituído também pelos imóveis de número 35 e 55 da vizinha rua das Palmeiras.
Villa-Lobos, ao que se sabe, nunca morou em Botafogo, mas a arquitetura dessa casa que abriga o Museu, como se apresenta até os dias atuais, é contemporânea ao período que corresponde à infância do compositor.
As três salas no térreo e o jardim, onde foi construída uma concha acústica com estrutura em ferro remanescente da antiga cavalariça, são abertos à visitação pública. Neste espaço de múltiplo uso são realizadas as ações educacionais, os recitais, as exposições de curta duração e outras atividades e projetos desenvolvidos pela instituição. Fotografias, pinturas, esculturas e instrumentos musicais representativos da trajetória do compositor são expostos no primeiro andar da casa.
O Museu conta com uma biblioteca para atendimento à pesquisa. A Biblioteca José Vieira Brandão mantém a mais relevante coleção pública de material relacionado a Villa-Lobos. Seu acervo abrange partituras, livros, teses, monografias, periódicos, programas de concertos, fotografias, recortes de jornais, correspondência, documentos textuais diversos e um arquivo sonoro e audiovisual.