Een precieze datum is niet bekend maar het kasteel zal zeker rond 1300 gebouwd zijn. Kasteel Ammersoyen wordt gerekend tot een van de best bewaarde middeleeuwse kastelen van ons land. Ammersoyen is met zijn vierkante plattegrond met vier hoektorens een voorbeeld van het door graaf Floris V geïntroduceerde kasteeltype. Dit type is wegens de goede verdedigbaarheid vaker toegepast. Uitzonderlijk is dat Ammersoyen als één geheel is gebouwd. De meeste middeleeuwse kastelen kwamen in verschillende bouwperioden door uitbreiding en aanbouw tot stand. Dat dit bij Ammersoyen niet het geval was geeft aan dat de bouwheer uit het geslacht Van Herlaer ook economisch gezien een machtig man was. De hoofdburcht lag in het water en ook de voorburcht, ten noorden van het kasteel, werd omgracht.
Nog in de zeventiende eeuw raakte het huis uit handen van de familie Van Arkel, na hen bewoonde de families Van Lichtervelde, Van Vilsteren, De Ribaucourt en De Woëlmont Ammersoyen. In 1873 kwam Ammersoyen in handen van een kloosterorde en werd hiermee het tweede Clarissenklooster in Nederland.
Helaas had dit nogal wat onaangename aanbouwsels tot gevolg waarbij ook de grachten werden gedempt.
Een belegering in 1513 richtte schade aan, maar een zwaarder lot trof Ammersoyen in 1590, toen brand het kasteel zwaar teisterde. Bij deze brand kwam de burchtheer George van Arkel om het leven. Pas na de Tachtigjarige Oorlog werd door zijn kleinzoon, Thomas Walraven van Arkel, begonnen met het herstel. Twee gevelstenen met de jaartallen 1648 en 1667 maken duidelijk dat de herbouw in die periode plaatsvond. Opvallend is dat hij Ammersoyen in middeleeuwse stijl herstelde. Het kasteel kreeg weer zijn oorspronkelijke contouren, maar het interieur werd aangepast aan de eisen die in de zeventiende eeuw aan comfort werden gesteld.
Nadat het kasteel in 1944-1945 zware oorlogsschade opliep, kwam Ammersoyen in 1957 in eigendom van Geldersche Kasteelen. In 1959 ging de restauratie van start, die zestien jaar duurde. Tijdens de restauratie werd de slotgracht uitgegraven, waarbij bijzondere gebruiksvoorwerpen uit de middeleeuwen en latere tijd werden gevonden. Thans is Ammersoyen opengesteld voor het publiek waarbij de inrichting in bewoonde sfeer wordt aangevuld met een expositie van grachtvondsten.
Het grondplan van Ammersoyen is dat van een middeleeuwse waterburcht, men heeft bij het herstel in de zeventiende eeuw de oude vorm aangehouden: een vierkante complex met vier ronde torens op de hoeken. Het muurwerk is trouwens merendeels nog middeleeuws. De bijzonder zware muur van de noordwestelijke toren vindt zijn verklaring in het feit, dat deze eens de donjon was. Zeer opmerkelijk zijn verder de verticale werpsleuven in de buitenmuur. Men betreedt het gebouw door de naar voren uitgebouwde voorpoort en komt dan op een klein plein tussen woonvleugels. De restauratie betekende onder andere het herstel van de grote zaal in de achtervleugel, door het afbreken van een later ingebouwde muur.