进入历史时期，赤角岛一直有人类聚居。但唐代以前的遗物极为稀少，只在深湾村出土了几件汉代陶片，说明在汉代，赤角岛上人烟稀少。相反，唐、宋两代的文化遗存却十分丰富，在深湾村发现了二十多座唐代灰遗迹，出土了不少唐、宋时代的完整瓷器，其中唐代长沙外销瓷的发现，可能跟当时的海上贸易有关。

虾螺湾遗址发现了十三座元代的铸炉遗迹，是香港首次发现的元代遗迹，说明当时岛上可能已有冶铁工业。

清朝道光三年（一八二三年），居民在赤角岛的庙湾用花岗岩建造一座天后庙。此庙于一九九一年拆卸，全部石材运往东涌黄龙坑重建。