孙中山纪念馆的馆址「甘棠第」于1914年建成，原为香港殷商何东胞弟何甘棠的住宅，楼高四层。整座大楼的建筑属英皇爱德华时期的古典风格，弧形阳台有希腊式巨柱承托。内部装修瑰丽堂皇，色彩斑斓的玻璃窗、阳台墙身的瓷砖，以及柚木楼梯的栏杆至今依然保存良好，是香港现存有数的二十世纪初建筑物。

甘棠第不单在外观上美轮美奂，亦是香港其中一座最早以钢筋构建，并有供电线路铺设的私人住宅，堪称香港建筑史上的里程碑。