A város közelében található várrom valaha a Vértes egyik büszkesége volt. A Tatai-medence több települése tartozott a várhoz valaha: a vár pusztulása után aztán a tatai vár tartozéka lett valamennyi. Bél Mátyás leírása szerint "Vitam várának" fekvésére a szűk alépítmények a jellemzőek, szélesen nyíló kilátás; megszállják, de el is hagyják a törökök.
Első okleveles említése 1324-ből való. Valószínűleg a Csákok építtették az Északi-Vértesben, 377 méter magasságban, egy keskeny hegygerincen, és 1320 táján kerülhetett királyi kézre.
Alakja szabálytalan ötszög, melynek belső udvarát két négyszögletes torony fogta közre. Két emeletén 9 helyiséget alakítottak ki. Az emeleket 18 méter magasan oromzatos párkány koronázta. A várnak sem előudvara, sem kútja nem volt. A vár fénykorában 35 falu tartozott hozzá és ellenőrizte a tata-bicskei utat. A rablók ellen is sikerrel harcoltak katonái, például 1417-ben Vitány és Gesztes várnagya.
Vitány Nagy Lajos uralkodásától a győri ispánság tarozéka Gesztessel együtt. 1410-ben Zsigmond zálogosította el Hohenzollern frigyesnek, Albert pedig 1439-ben Rozgonyi Istvánnak. I. Ulászló Rozgonyi Jánosnak adta birtokba, majd a család kihalása után II. Ulászló 1493-ban Egervári László horvát bánnak adta, 1532 után Héderváry birtok lett. Később többször cserélt gazdát a magyarok és törökök közötti harcokban. A tizenötéves haború után végleg magyar lett Pálffy Miklós jóvoltából, Tata után egy évvel, a császáriak 1598-ban mégis felrobbantották.
Szépségében ma is vetekszik gesztesi rokonával, ám utóbbi jobban szolgálta a védelmi célokat. Közel van Felsőgallához, és bár nehezen közelíthető meg, szép kirándulóhely, ritka nevezetesség.
