居留外国人用の競馬場は、1864年（元治元）に徳川幕府とイギリス・アメリカ・フランス・オランダとの間で締結された「横浜居留地覚書」において、居留地の背後にあった沼地（現在の中区扇町から松影町付近）を幕府側が埋め立て、新たに競馬場として外国人に貸し出すことが明記されていました。

しかし、1862年（文久２）の生麦事件を契機に諸外国との緊張が高まるなか、攘夷派との衝突を懸念した幕府・外国団双方は、候補地を東海道から離れた安全な場所に確保する交渉を続け、最終的に郊外に位置する丘の上の“根岸”を用地に選びました。

1866年（慶応２）、イギリス駐屯軍将校らが設計・監督のもと、日本で最初の本格的な競馬場施設「根岸競馬場」を建設し、同年12月に舞台が“根岸”となった内容が記載された「横浜居留地改造及び競馬場墓地等約定書」を締結しました。運営組織はイギリス人を中心とした「横浜レースクラブ」で、翌年１月には記念すべき最初の競馬が開催されました。

競馬場完成当初は、居留外国人のみが洋式競馬を楽しんでいましたが、次第に日本人も参加するようになり、横浜レースクラブの分裂・統一を経て、1880年（明治13）に日本レースクラブが結成されました。同クラブの名誉会員には宮家が、正会員には西郷従道・松方正義・伊藤博文といった明治新政府の重鎮が名を連ね、競走馬を所有し積極的に根岸競馬に参入するようになりました。