Огромната внушителна сграда разположена на десният бряг на рега Тибър е била поръчана и проектирана от император Адриан (Hadrian) през 130- 139 като мавзолей за него и семейството му. Височината и е близо 50 метра. Сградата се състои от основа от 89 квадратни метра, кръгла кула с диаметър 64 метра изградена от шуплест варовик покрита с мрамор.

През вековете замъка е претърпял множество промени. Той е бил крепост срещу враговете, затвор и папска резиденция. Папа Лео IV издига стена около Ватикана, съединяваща базиликата Свети Петър и замъка, с цел да се укрепи защитата на папския град. Между Ватикана и замъка съществува подземен проход, койте често е бил използван от папите за таен изход при нападение на Ватикана.

През 1901 година замъка е превърнат в музей и е една от ключовите забележителности на Рим.

Съществува легенда за името на замъка според която, прекосявайки моста при крепостта, процесия целяща отправяне на молитви за спиране на чумата през 590 година, е видяла на върха на крепоста Архангел Михаил прибиращ меча си. Това видение възвестило краят на чумата и от тогава замъка носи името Сант Анджело.