Azon hely, ahol a fülemüle Sitke madár szép számban él, ásatási leletekkel igazolhatóan, ősidők óta, kisebb-nagyobb közösségekben emberek által is lakott. Bronzkori, avar kori és római kori települések nyomai lelhetőek fel a Hercseg-hegy körül. Friss vizek fakadnak, bújnak elő a hegy lábánál és táplálják a Kemenesalja Rába folyó felé csörgedező patakjait. A Bölönt ér forrásánál római korból származó fürdőmedencét láthat a kutató tekintet. A 32 Celsius meleg forrásvízzel táplált, a rómaiak által épített medencét, az 1960-években Sitke község lakossága még közstrandként használta. Az 1930-as években komoly kutatások feltárások, ásatások folytak Sitkén és környékén. Kis és Nagy Sitke település területén komoly méretű romai kori település, Bassiána maradványait tárták fel. Kő lakóházak, amfiteátrum és a már említett fürdő mellett több jelentős középület maradványaira bukkantak.
A Ság-hegy és a Hercseg hegy közötti területeken avar kori települések feltárása napjainkban is folyamatosan zajlik. Egy már korábban feltárt, Sitke közeli, Avar vezér halomsírjának lelet anyaga Budapesten a Nemzeti Múzeumban megtekinthető. Kalandozások korának vége felé települnek le e vidéken is honfoglaló őseink.
Vezetőik a Ják nemzetségből származó család tagjai. A család teljes különválása a 13. Században történik, ekkor tűnik fel először a nekik nevet adó, és egyben településnév a Sitkey egy 1283-as adománylevélben. A család központi lakóhelye mindig ez a falu maradt annak ellenére, hogy a család több tagja Zala - Győr-Moson és Sopron vármegyei falvakban települt le a későbbiek során. A fülemüle Sitke madár kapcsolódását az egész történethez a Sitkey család és a falu címerében szereplő madárábrázolás igazolja leghitelesebben.
Sitke fejlődésének során a 15. században, 1479-ben mezővárosi (oppidium) rangot ért el. Az itt élő Sitkei család Kis- és Nagy-sitkei ágra vált ketté.
Az itt élő családok egészen bizonyosan már a honfoglalást követő évszázadok kezdetén felépítették saját lakóhelyül szolgáló épületeiket. Hogy igazából mikor alakították ki ezekből az úri lakokból az erődített lakóhelyet (Castellumot) a fennmaradt okmányokból csak következtetni lehet. Az első írás, mely néhány ilyen tájékoztatást ad, egy 1548-ban az öt Sitkey testvér vagyonosztozkodásáról készült okirat. Az osztozkodás során négy épületet neveznek meg a kastélyon belül: „az új ház,….az alatt való ház,….az felett lévő ház és egy borona ház”. A testvérek felosztották egymás között az említett házakban lévő helyiségeket, melyek közül az alábbiak szerepelnek az okmányban.” Több szoba és konyha, ebédlő, életesház, szalonnásház, kamoraszék, sütőszoba, pitvar, és grádics,”- mely volta emeletes épület létezését igazolja. A házakhoz több köböl épült épület, pince, lóistálló, bástya és kapu, és ezek felett lévő őrszobák, híd, palánk és sorompó is tartozott. Az öt Sitkey testvér személyenként egy-egy összesen öt kapun állót és ezeknek a parancsnokául egy porkolábot fogadnak fel. Két virrasztó (éjjeli őrt) is alkalmaztak. A kastély piacát és présházát a kapu közt közösen használják ezen megállapodás alapján. Az öt Sitkey „osztályáról” szóló több oldalas okirat még tartalmazza a castellum felszereléséről és ágyúiról, seregbontóiról szóló felsorolást.
1594-ben a királyi kamara feljegyzést készített a Rába folyó átkelőiről, amelyek között ott találjuk Sitkét is. Az okmány a Kis-sitkei Castellumot a megerősítendő helyek, közé sorolja.
- január 12.-én, „Sitkey György tudván, látván maga fogyatkozott állapottyát, maga táplálására, pörlekedéseire, jószága oltalmazására meg kezeléseire és kiváltására való elégtelenségit” úgy döntött, hogy birtokait életfogytig tartó ellátás fejében átadja Galántai Esterházy Mihálynak, Darabos Lászlónak és Máriának. Ezzel a kissitkei kastély az Esterházy család tulajdonába került.
- április 9.-én a kismartoni Esterházy kastélyban Felsőbüki Nagy István és felesége, Tompa Rebeka rokoni kapcsolataira való tekintettel 8000 Ft.-ért megvette gróf Galántai Esterházy Dánieltől az egykori Sitkey javakat. Ezzel a vásárlással egy Sitkey családdal rokon család kezébe kerültek a régi Sitkey birtokok: Kis és Nagysitke, Tokorcs, Bajt, Kanotha, Véged és Gyűrűs. Felsőbüki Nagy István utódai közül először fia Nagy Ferenc és felesége Nicky Borbála költözött Sitkére, a kastélyba a 18. Század elején. Egy a közelmúltban felújított szobor mely a kastély kapuja előtt áll, ezt a szobrot 1734-ben emelték annak emlékére, hogy 15. éve Sitkére költöztek. Ezen felirat szerint könnyen kiszámítható, hogy valószínűleg 1719-ben költözhettek ide. Erre az időszakra tehető a bástyafalakkal körülvett erődrendszer, lebontása, átépítése. A középső legrégebbinek tekinthető épületrészt két oldal szárnyal, kibővítették így alakult ki egy barokk stílusú kastély. 1851-ben további bővítések átépítések után kapta jelenlegi romantikus stílusát és formáját az épület. A kastély legnagyobb alapterületű helyiségei a pince szinten találhatóak. A boltíves helyiségek közül a legnagyobb 30 méter hosszú, 7, 8-méter széles, a boltív legmagasabb pontján 4, 1-méter magas. Erre merőlegesen helyezkedik el a 20 méter hosszú egyéb méreteiben azonos kisebbik pince, természetesen a nagyok mellett számos apróbb pincehelyiség is található. A 2880 négyzetméter alapterületű épületben, három szinten 104 önálló ajtóval rendelkező helyiség található, melyeket 88 ablakon keresztül ér el az éltető nap fénye. Már amennyire lehetséges ez a néhol 1, 6--2-méter széles falaknál.
A második világháborút követően 1946 - 1949 között katolikus egyház által működtetett iskola, 1949-től 1974-ig a község állami általános iskolája működött az épületben. A Kovács család a Vas megyei kastély megmentési program keretében 1982-ben bérlőként került az épülettel kapcsolatba, és végezte el a erősen ütött-kopott épület megmentését, felújítását. A rendszerváltás után 1996-ban nyílt lehetőségük, arra hogy megvásárolhassák a kissitkei kastély épületét.