A hatalmas parkban megbúvó kastélyt terebélyes fák ölelik körül, nyáron szinte alig látni a parkban méltóságteljesen elterülő kastélyt. Az 1881-82-ben épült neoreneszánsz stílusú Károlyi kastély Ybl Miklós tervei alapján készült. Emeletes rizalitja és kétemeletes, német reneszánsz stílusú szárnya szintén az ő műve, persze későbbről, 1885-ből. A vadászkastélyt a források szerint a Károlyi család keresztelte Sasvár névre. A település mai elnevezése is őrzi ezt. Egyetlen híresség élt itt, Károlyi Mihály.
A Károlyi kastély a két világháború között lakatlanná vált, majd 1945 után a pusztulásnak indult kastélyból úttörőtábor lett, elzárva a külvilágtól és a látogatók szemétől. ?A kapuban libériás hajdú helyett úttörősapkás gyermekek állnak őrt, s a patak két oldalán felhangzik az indiánosdit, vagy számháborút játszó úttörők csatakiáltása. Mióta az úttörőket szolgálja ez a különben valóban
regényesen tervezett, tornyos kastély, valahogy mintha még illenék is rá a sasvár elnevezés. S talán még jobb lenne, ha úgy neveznék Sasfiókvár.? - írja az 1960-as évek elején megjelent Budapest -Gyöngyös-Mátra útikalauz.
Ma azonban ismét régi fényében pompázik a Károlyi kastély, immár Kastélyhotel Sasvár néven, ötcsillagos szállodaként, minden igényt kielégítő wellness szolgáltatásokkal: élménymedencével, szaunával, bowling és fallabda pályával. Két évi felújítás után 1998 őszén nyitotta meg kapuit.
Érdekesség, hogy itt forgatták a Meseautó c. film modern változatát néhány évvel ezelőtt.
ikonnal bővítheti túráját.