Kartano sijaitsee korkealla kallionharjalla kylätontista pohjoiseen. Päärakennuksen molemmilla puolin kohoaa maa kahdeksi näköalapaikaksi, joilta jyrkät, paljaat kallioseinämät laskeutuvat alas laaksoon. Kallioiden lailta avautuvat harvinaisen kauniit näkymät Ilolan laakson vehreään maastoon. Näkymää elävöittävät joki ja useat, korkealle kohoavat, tälle maisemalle tyypilliset metsäsaarekkeet.
Kartanon kantatilana pidetään Bergsin tilaa joka 1625 lahjoitettiin Jakob Sabelhiertalle. Tila nautti säterivapautta 1660-luvulta lähtien. Tila redusoitiin (~ lahjoitus peruttiin) vuonna 1685 ja siitä muodostettiin säteriratsutila, joka ostettiin perinnöksi vuonna 1819. Sen jälkeen on yhdistetty seuraavat tilat: vuoden 1690 paikkeilla eräs tuntematon tila, joka vuodesta 1682 oli Anna Stålarmin ostorälssi ja nautti siten säterivapautta; vuoden 1700 paikkeilla Fransaksen tila, joka vuodesta 1748 oli Edvard Johnstonin rälssiosto, joka reduktoitiin 1695, mutta joka jaettiin augumenttina (~aputilana) säteriratsutilalle ja ostettiin vuonna 1760 perinnöksi maatilan omistajan toimesta; vuonna 1893 Gästgivarsin rälssitila ja osa Jontaksen verotilasta.
Boijen suku rakennutti Marielundin kartanon suomaille 1900 luvun alussa kun Ilolan järveä oli ojitettu.
Kankurimäki (Wäfvarsbacka) rakennettiin myös Boijen toimesta ja tätä tilaa omistaja lohkosi Adolf Willhelmin pojalle Albin Boijelle.

Marielundin päärakennus 1900 luvun alussa.

Ilolan Kartanon omistajat keskiajalta.

Korpin suku. Bengt Korp och Anders Korp (1480,1491) Ägare från och med år 1540: Erik Korp 1540-47; Sigfrid Eriksson Korp 1548-76; Matts Sigfridsson Korp 1577-1615; Tomas Mattsson Korp 1618;

Sabelhiertan suku. Jakob Sabelhierta, ratsumestari, 1625-1640 ja tämän leski Anna Stålarm 1680. Anna Stålarm omisti melkein koko Ilolan (n 18 tilaa).

Åkessonin suku. Henrik Gottsman 1703-26; hänen vävy luutnantti Åke Åkesson 1727-45; Erik Åkesson laivastoupseeri 1745-1794; Erik Johan Åkesson aliluutnantti -1825; ja tämän leski -1830 ja hänen perijät-1834.

Möllerswärdin suku. Vuonna 1834 kapteeni Johan Adolf Möllerswärd ja hänen veljensä kapteeni Gustav Reihold Möllerswärd omistivat Ilolan kartanon 1834-44; Voidaan mainita, että Ulla Möllerswärd asui lyhyen ajan veljensä kanssa kartanolla mutta kuoli Porvoossa.

Kapteeni Johan Adolf Möllerswärd (1784-1868) ja hänen renki Ilolan Kartanolla. Kapteeniä kutsuttiin "kapteeni tynnyriksi" ja hänen veljensä Gustaf Reinhold "kapteeni hoikaksi" (vrt ruotsinkieliset sanat "kapten tunna ja tunna kapten") -Johan Knutsonin öljymaalaus 1840-luvulta.

Karl Fredrik Schulman, eversti, omisti Ilolan Kartanon 1844-49 ja möi tämän huutokaupassa 1850. Adolf Wilhelm Boije af Gennäs, myöskin eversti, osti kartanon ja tämän myötä kartano tuli Boije af Gennäs suvun omistukseen.

Adolf Wilhelm Boije af Gennäs omisti Ilolan Kartanon 1850-65 jonka jälkeen tämän leski everstinna Anna Charlotta Mathilda (syntynyt Grundelstierna, aatelinen suku no 1612) otti kartanon haltuunsa. Mathilda johti kartanoa ahkerasti ja kovasti kuolemaansa saakka vuoteen 1908;

Grundelstiernan suvun vaakuna, aatelinen suku no 1612

Vanha päärakennus paloi tuhkaksi illalla 1877.

Ilolan Kartanon vanha päärakennus. Adolf Willhelm Boije af Gennäsin maalama akvarelli 1850 luvulta.

Klo 23 6.12.1877. "Everstinna ja tämän tytär olivat menossa makuulle ja tunsivat savun hajua makuhuoneessa toisessa kerroksessa. Everstinna enteili että jotain on hullusti ja lähti tyttärensä kanssa portaita alas tarkistamaan tilanetta. Portaissa tuli tuli vastaan. Tuli oli aulassa irti! Kauhistuneena kääntyivät takaisin ja niillä oli tarpeeksi rohkeutta kasata arvopapereita ja joitakin lähellä olevia arvoesineita vuodevaatteeseen. Kun yläkerran parvekkeen kaksinkertaiset ikkunat oli poistettu, veistä käyttäen, jolloin loukkaantuivat, naiset pääsivät loppujen lopuksi parvekkeelta ulos ja turvaan. Paikalle oli saapunut runsaasti talonpoikia jotka eivät kuitenkaan voineet edes yrittää sammuttaa tulenpaloa koska kaikki sammutusvälineet olivat juuri aulassa josta tulipalo oli lähtenyt liikkeelle." Bbl 11.12.1877

Mathilda Boijesta tuli leski jo vuonna 1865 mutta hallitsi kartanoa kovin ottein. Hän rakennutti nykyisen päärakennuksen vuonna 1878. Everstinna Boije halusi päärakennukseen monta ulloskäyntiä ja vain yksi kerros jotta olisi helpompaa päästä ulos tulipalon sattuessa. Nykyisessä päärakennuksessa on 5 uloskäyntiä. -Öljymaalaus Alvar Cawén.

Kartanoa omisti 1909-32 Constantin Axel Leonidas Boije af Gennäs, kapteeni, Tässä voi mainita että Constantin oli ahkera kartanonomistaja ja mm yksi ensimmäisistä kasvinjalostajista maassamme. Hän oli mukana perustamassa pelastusarmejaa Suomeen sekä perusti kappelin köyhille Båtsmaninkadulle Helsingissä. Hän oli myös aktiivisesti mukana Skyddskårenissä sekä vapaakirkollisessa toiminnassa. Mm Ilolan rukoilutalon sekä Porvoon Missionskirkon talot on rakennettu Ilolan Kartanon metsien puusta..

Constantin jalostaa kauraa ja Ilolan mustakaura tuli tunnetuksi koko Suomessa. Lajikkeella oli lyhyt kasvuaika ja antoi paremman sadon kuin vanhat lajikkeet. Constantin tuli tunnetuksi koko Pohjoismaissa ja kartanolle tuli usein kasvinjalostajia vierailulle Venäjältä.

Omistajat 1932-1964 agrologi Nils Adolf Fredrik Boije af Gennäs. Vuodesta 1964 omistajana yrittäjä, kunnallispolitiikko ja agrologi Nils Christer Ivar Constantin Boije af Gennäs aina vuoteen 2002 saakka.

Tänään kartanoa omistaa yrittäjä ja agrolog YH Constantin Peter Boije af Gennäs.

Tilalla viljellään lähinnä viljaa ja on erikoistutta mansikan viljellyyn. Vuonna 1995 ensimmäiset mansikantaimet istutettiin ja mansikan viljelysala on noin 5 ha. Itsepoimintaa ja suoramyyntiä on joka heinäkuun jolloin kesäkahvila on myös auki.