A Kossuth utca 27. számú telken magasodik a Szapáry család XVIII. században épített kastélya, amit a szécsiszigeti vár egy részének a felhasználásával építettek. A vár árkait XVII. századi leírás szerint földsánc vette körül, amit fapalánkok egészítettek ki. Ezek ma is nyomaikban felismerhetők. Azonban a vár árkait 1871-ben a tiszttartó betömette, területét fásította.
Az épület a magyar barokk kastélyok jellegzetességeit mutatja. Kialakítása egyszerűbb, mint a külföldieké, higgadtabb, mégis betölti reprezentatív szerepét. A kastély földesúri székhely voltánál fogva több volt egy egyszerű lakóhelynél. Birtokosának és családjának otthonaként gazdasági és birtokigazgatási központjaként, valamint nem utolsó sorban a földesúri hatalom reprezentálójaként szolgált.
A szécsiszigeti kastély a régi vár helyén épült a maitól eltérő formában, eredetileg U alakú volt, ami egy 1864-ben készült térképen látható. Az épület maga a Kerka völgyétől pár méterre kiemelkedő, részben mesterségesen kialakított dombon áll. Elmondások szerint berekfa cölöpöket használtak alapozáskor, melyeket égetéssel tartósítottak. 1968-ban a Kerkát új mederbe terelték. A gyorsabb lefolyás miatt a talajvízszint folyamatosan csökkent, a facölöpök korhadni kezdtek.
Az épület mai állapotában L alakú, északkeleti-délnyugati tengelyű szárnya a lakószárny. Északkeleti oldalához magtár csatlakozik. A volt istállókat és a kapuépítményt, mely délkeleti oldalon csatlakozott a kastélyhoz, 1945 után lebontották. Különböző vizsgálatok kimutatták, hogy az épület legidősebb része a magtár. Az is kiderült, hogy a kastélyszárnynak csak a délnyugati fele volt egyemeletes a lépcsőkig, a többi része földszintes volt. A kastély egy emeletes, oldalfolyosós és teljes területén alápincézett. Főhomlokzata 10 tengelyes, melyet horizontális övpárkányok, vertikálisan pedig pilaszterek tagolnak. A földszintes ablakok egyenes ívűek, szalagkeretesek, az emeletiek díszesebbek, szintén szalagkeretesek, a szemöldöknél ehinusz mintával és füzérrel, párkánnyal és tükrös ablakköténnyel. A kastély bolthajtásos pincéjében tárolták az uradalom borát. A pincében 145 akós hordók álltak, ezeket itt szerelték össze. A régi kapuzat alját rúdfával rakták ki, az udvar egyébként kaviccsal volt felszórva, közepén kút állt, körülötte orgonabokrok.
A Kastély közvetlen területe egy közel 0,7 hektáros kert, melyet félkör alakban a középkori várárok vesz körül. A kastélyhoz tartozik még a holtág és a jelenlegi meder által bezárt háromszög alakú 7 hektáros terület. Kerttörténeti szempontból annyit jelent, hogy a kastély körül minimális területet foglalt el a korra jellemző kialakítású kert, a park többi része gazdasági célokat szolgált. A második világháború idején már ligetek vették körül az épületet, melyeknek legjellemzőbb fája a gyertyán volt.