Cisár mal mnoho intelektuálnych záľub a hrad využíval ako lovecký zámoček, kde si mohol oddýchnuť od dvorského života. Neskôr stavba slúžila striedavo ako miesto slávností aj ako väzenie. V 19. storočí hrozila hradu skaza, na poslednú chvíľu ho však vykúpila a nechala opraviť talianska vláda. V stavbe sa zaujímavo snúbia gotické a arabské architektonické prvky. Steny hradu sú obložené bielymi mramorovými doskami a podlahu skôr zdobili mozaiky. Stavba má dve podlažia, každé s ôsmimi miestnosťami s rebrovou klenbou, z ktorých niektoré sú dodnes obložené mramorom. Podlažie boli spojené troma schodiskami, odlišnými navzájom, umiestnenými vo vnútri troch z ôsmich veží. Vďaka mramorovému obloženiu a mramorovým rímsám nad vchodom a v hornom poschodí a dômyselnej dispozícii toaliet možno Castel del Monte považovať skôr za palác. Uprostred dvora stála pravdepodobne osemboká fontána, ktorá symbolizovala smaragdovú čašu Sv.Grálu. Podľa rôznych výskumov predstavuje tento hrad dokonca obrovské slnečné hodiny a v jeho konštrukcii sa prejavuje cisárovo nadšenie pre mystiku čísel.
