Szécsisziget sok évszázados történelmi múltra visszatekintő település. A XIV.
századtól bizonyítottan létező eredeti település a dombok szélén, az erdő tövében
helyezkedett el. Később került a falu mai helyére, a Kerka teraszának kis szigetére.
A település a XVIII-XIX. században mezővárossá lett, melynek lakói a korabeli
feljegyzések szerint kilencedet és papi tizedet, a szőlők után pedig hegyvámot
és tizedet szolgáltattak.
A falu első ismert tulajdonosa a Szigeti család volt, mely névadója a településnek. A terület birtokosa később Széchy Miklós majd Kéry Ferenc, 1690-től a Szapáry család, 1820-tól 1945-ig pedig az Andrássy család lett.
A település várát 1458-ban említik először, amely az 1600-as években komolyabb jelentőségre tett szert. Ekkortól a portyázó törökök a várat állandóan zaklatták és a feljegyzés szerint 1636-ban "Zechi Zigethe városa mind palánkostul, kapustul, emelőstül, hidastul porrá égett". Később a várat újjáépítették. A vár árkait ekkor földsánc vette körül, amit fapalánkok egészítettek ki.
A. XVIII. században a Szapáry család a vár egy részének a felhasználásával építtette fel az U alakú kastélyt. Az épület a magyar barokk kastélyok jellegzetességeit mutatja. A kastély földesúri székhely, egyben lakóhely, gazdasági és birtokigazgatási központ volt. A mai épület északkeleti-délnyugati tengelyű szárnya a lakószárny, s északkeleti oldalához magtár csatlakozik.
A kastélyt 1933-ban az Andrássyak tataroztatták.. 1945 után a földműves-szövetkezet, a termékforgalmi tanács, majd a község tulajdonába került. Később egy időre magántulajdon lett, majd egy tűzeset után a kastély ismét az önkormányzaté lett. A helyreállítás munkálatait 1999-ben PHARE CBC program keretében kezdték meg.