Em 1920, um grupo de técnicos e dirigentes da Companhia Tramway, Light & Power, holding da empresa The Rio de Janeiro City Improvements, Company, Ltd., pertencente ao Grupo Light, iniciou os contatos para a criação de um clube de golfe no Rio de Janeiro.

Definida a intenção de criar o clube de golfe, iniciaram-se as buscas para aquisição de uma propriedade que tivesse as características necessárias. O clube foi oficializado em 1921 com a denominação de Rio de Janeiro Golf Club, ainda sem dispor de sede própria ou da posse de qualquer terreno.

As reuniões da Diretoria – composta por Carroll Mauseau (presidente do Conselho), Henry Lynch (vice-presidente), Ernest Mortimer (secretário), J. Carriker (tesoureiro), C. H. Lloyd (capitão), e outros seis diretores, Hugh Pullen, William MacGregor, V. R. Kershner, R. A. Brooking, E. A. Sturgis e J. Armstrong Read – eram realizadas no Clube Central, situado no centro do Rio de Janeiro, à avenida Rio Branco, 118.

Em 1925, um grupo de 28 sócios assinou uma petição requerendo uma assembleia extraordinária para tratar da conveniência de se liquidar o Rio de Janeiro Golf Club, que após todos esses anos ainda não havia encontrado o local e as condições ideais para a construção do primeiro campo de golfe da cidade. Graças à ferrenha oposição do major Kenneth McCrimmon, a moção foi derrotada por apenas um voto (15 a 14), e à Diretoria foram dados mais trinta dias para a localização do terreno apropriado.

A partir de então, a busca tornou-se mais intensa, decidindo-se, no início de 1926, nomear um diretor encarregado de obter maiores esclarecimentos relativos aos terrenos de propriedade da The Rio de Janeiro City Improvement Company, na Gávea.

O gerente da empresa, recentemente nomeado e grande entusiasta do golfe, incentivou a inspeção da propriedade, cujas principais atrações eram a belíssima localização, a água abundante e a relativa facilidade com que a casa principal poderia ser transformada em sede para o clube. O terreno adequado para o campo de golfe finalmente havia sido encontrado.

Em fevereiro de 1926, o presidente do Conselho do cube, Carrol Milo Mauseau, apresentou à Diretoria a possibilidade de compra da Fazendinha e do Sítio da Gávea. A proposta feita à companhia The Rio de Janeiro City Improvement Company Ltd. 
Foi aceita em março do mesmo ano, e, assim, a companhia se desfez das áreas que haviam sido adquiridas no início do século e que não mais serviam aos propósitos da empresa.

Em 1931, o clube já possuía 332 sócios efetivos, sendo que 222 pagavam por privilégios atléticos, além de setenta mulheres e noventa sócios temporários também com privilégios atléticos. No que se refere à sede, desde maio de 1926 já haviam sido solicitados serviços públicos, como luz elétrica e telefone, instalado em junho com o número Ipanema 393. A partir de então, iniciaram-se os trabalhos para a construção da piscina e reforma da sede.

O primeiro bar foi concluído em setembro de 1926, e a sede do clube inaugurada em outubro daquele mesmo ano, após a conclusão das reformas. Desde o final dos anos de 1920 o clube iniciara a organização e promoção de eventos sociais. Em 1931, o grande evento social ocorreu por ocasião da visita do príncipe de Gales Edward e seu irmão George, duque de Kent.

O clube preparou uma grande recepção, e o príncipe Edward, como um ávido jogador de golfe, ficou fascinado pelo campo. Os herdeiros da família real britânica foram homenageados e convidados a tornarem-se sócios honorários vitalícios.Segundo o sócio Seymour Marvin,a cobertura dada pela imprensa ao evento foi fundamental para a divulgação do clube e do próprio golfe, levando ao conhecimento da população a existência de um esporte que até então estava restrito aos meios onde circulavam seus praticantes na cidade.

Um outro evento significativo foi a vinda do ex-presidente da República Argentina, general Justo, em 1933, que doou a taça que leva seu nome, uma das mais importantes do clube, até hoje disputada.

Dois anos depois, a Diretoria ofereceu um almoço ao presidente Getúlio Vargas.

Dando prosseguimento a suas atividades sociais, em 1938 foi oferecido almoço ao prefeito do Distrito Federal, Dr. Henrique Dodsworth, e ao secretário de Viação, Trabalho e Obras Públicas, Edson Passos. Outras autoridades como Oswaldo Aranha e Fernando Costa também estiveram presentes, e muito elogiaram a sede social e a propriedade do clube.

Com o aumento da frequência de crianças no clube, e estando a sede destinada somente aos adultos, iniciou-se uma campanha para construção de local específico para o lazer infantil.

Por sugestão do profissional Mario Gonzalez, em 1951 foi proposta a construção de um playground no morro localizado atrás da sede.

O playground só seria construído quatro anos depois, em 1955. O governador do estado do Rio de Janeiro, Francisco Negrão de Lima (1965-1971), foi convidado para um almoço no Gavea em 1969, quando lhe foi conferido o título de sócio honorário; na ocasião, o presidente solicitou às autoridades estaduais presentes, que “fosse reduzida ao mínimo a mutilação de nosso campo de golfe, preservando assim esta grande atração turística que é o Gavea”.

Após um grande período sem realização de obras relevantes, o clube vê-se obrigado a realizar, em 1974, durante a gestão do presidente Antônio Carlos de Almeida Braga,a maior reforma já empreendida em sua sede. As modificações visavam aumentar o conforto oferecido aos sócios, e incluíam a ampliação dos vestiários, da loja do clube e do bar da piscina, a reforma da cozinha e do bar inglês, e a criação de uma sala para os profissionais, além de diversos outros melhoramentos. Feita a obra, passaram-se alguns anos livres de problemas. Depois, no final da década de 1980, foi feita a ampliação da cozinha e do bar misto, parte integrante de um projeto mais amplo que previa ainda a mudança da localização da piscina e o aperfeiçoamento da área destinada às crianças.
Posteriormente, foi realizada a redecoração do bar misto com a colocação de fotos antigas do clube nas paredes e renovação de toda a mobília.

Em 1999, foi realizada a reforma do bar inglês, o clube passou a organizar eventos e festivais gastronômicos.

No ano 2000, um comitê, com acompanhamento do sócio Marcio Rebello, orientou a execução de obras na piscina que deram fim aos constantes vazamentos; ampliaram a área de lazer para banhistas; e ainda permitiram a instalação de telas de proteção ao redor da área, para evitar que as bolas de golfe atingissem os banhistas.