Het huis, met de bijbehorende bouwhuizen, in 1760 vastgelegd door de bekende tekenaar Hendrik Jan Scholl. 

Kasteel Ampsen is het oudste nog bestaande (kasteel)bouwwerk in Lochem. En het is sinds mensenheugenis nooit verkocht, maar altijd door vererving ‘binnen de familie gebleven’.Het goed Ampsen kent een lange geschiedenis, die op zijn minst terug gaat tot de twaalfde eeuw. Lange tijd werd onderscheid gemaakt tussen “Alden-Ampsen” en “Nieuwen-Ampsen”. Dat laatste huis werd voor het eerst in 1450 genoemd. Het huidige kasteel, waarvan niet zeker is of het op de oorspronkelijke plek van “Nieuwen-Ampsen” is gebouwd, dateert van twee eeuwen later. Het goed was inmiddels in het bezit gekomen van de familie Van Nagell. Gerrit Jan van Nagell was de bouwheer van het nieuwe huis, dat oorspronkelijk een L-vormige opzet had. In de binnenhoek van de twee vleugels stond een veelhoekige traptoren en de gevels waren voorzien van kruisvensters met luiken. Omstreeks 1760 volgde een ingrijpende verbouwing. Dat gebeurde in opdracht van Jan Herman Sigismund van Nagell en zijn zeer vermogende echtgenote Mauritia Constancia le Leu de Wilhem. Aan de oude opzet werd aan de rechter zijde een flinke vleugel toegevoegd, waardoor het huis een symmetrische opzet kreeg.

Naar de smaak van de tijd zijn de gevels gedeeltelijk nieuw ommetseld en van zandstenen kozijnen voorzien. De voorgevel kreeg een imposante natuurstenen middenpartij, waarop de wapens van het echtpaar werden aangebracht. Ook de brug, de zandstenen balustrades van het voorplein en het rijk gedecoreerde smeedijzeren hekwerk stammen uit deze bouwfase. In het hoofdhuis bleven echter veel sporen van het zeventiende-eeuwse gebouw bewaard, waaronder gewelfkelders, opgaand muurwerk en delen van balklagen en kappen. De beide bouwhuizen bezitten bouwresten uit de zeventiende en achttiende eeuw en kregen in het begin van de negentiende eeuw hun huidige aanzien.

Nadat rond 1600 door de Spanjaarden zowel Old of Ouden Ampsen als Nieuwe Ampsen is verwoest laten Gerrit Jan Nagell en zijn vrouw Clara Elisabeth van Coevorden het linker- en middengedeelte van het huidige kasteel bouwen. Met een niet-symmetrische bouw.

Hoewel Old Ampsen feitelijk niet meer bestaat vraagt de baron in de 18e eeuw nog wel erkenning van Old Ampsen als havezate en toelating van zijn zoon tot de ridderschap; het blijkt vergeefse moeite.
De van Nagells zijn niet alleen belangrijk als landeigenaar, maar ook als bestuurder.

Het kasteel biedt een monumentale aanblik, met zijn evenwichtige opbouw met voorplein en bouwhuizen. Natuurlijk werd aan het kasteel regelmatig verbouwd en verbeterd. In het bijzonder de binnenkant is regelmatig aangepast aan moderne gemakken of aan de mode van de tijd. Het bijbehorend landgoed met rechte lanen en boerderijen ‘met de kleuren van het huis’ is toegankelijk.
Het kasteel was al in de tijd van Gerrit van Nagell gelegen in een landgoed met diverse boerderijen. De pachtverhoudingen mogen in de eeuwen zijn veranderd, nog steeds is aan de luiken van de boerderijen te zien dat ze bij Ampsen horen.

Het landgoed is op dit moment 680 ha groot, maar dat is meer geweest: in de negentiende eeuw heeft de kasteelheer, tevens burgemeester van Laren, grond afgestaan voor de aanleg van de spoorlijn van Zutphen naar Hengelo. Maar wel op de voorwaarde dat het station dicht bij het kasteel zou komen! En ook voor de bouw van het gemeentehuis van Laren in 1910 heeft de kasteelheer/burgemeester grond ter beschikking gesteld. Ook zonder extra voorwaarden bracht dat zijn werkkamer vlak bij zijn woning

In 1980 is het landgoed in bezit gekomen van Jonkheer en mevrouw R.E.W. van Weede – van den Wall Bake. Zij hebben het landgoed ondergebracht in BV Landgoed Ampsen.

Het landgoed zelf is opengesteld voor bezoekers. Je kunt er heerlijk wandelen door bossen, akkers, graslanden en heideveldjes. Er zijn diverse wandelroutes, waaronder de Landgoed Ampsenroute van 8 kilometer, die je langs het kasteel en door het Sterrebos leidt. wandelbeeld.nl