De heren van Mierlo bezaten grote boerenhoeven, de windmolen, grote percelen grond, de kerk en de parochie met bijbehorende tienden. Ze hadden een eigen leenhof met een bredeadministratieve functie en ze konden de dorps-en kerkbestuurders benoemen. Zo was in 1263 een zoon van de Heer van Mierlo pastoor van de parochiekerk.
Kasteelbewoners
In de beginperiode verbleven de heren en hun families waarschijnlijk in een van de grote hoeven die zij in eigendom hadden, want van een kasteel was nog geen sprake. Van wanneer het kasteelcomplex zoals wij dat van (pen)tekeningen en kopergravures kennen dateert, kunnen we niet aantonen. Maar het vermoeden bestaat dat het al in de 14e eeuw is gebouwd, waarschijnlijk in de tijd van de heren van het geslacht Dickbier. Deze waren rijk genoeg om in hun heerlijkheid een kasteel te bouwen. De eerste geschreven betrouwbare bron waarin het kasteel wordt vermeld, is het testament uit 1410 van Hendrik Dickbier.
Het kasteel stond in een bestaand vennetje, dat deels als gracht heeft gediend. De hoofdburcht zal aanvankelijk nog alleen uit de stenen woontoren ofwel donjon hebben bestaan. Dat sluit niet alleen aan op de ontwikkeling van de meeste kastelen, maar ook de centrale ligging van deze toren ten opzichte van de voorburcht lijkt hier een aanwijzing voor te zijn. Door de latere zuidelijke toevoeging van een woonvleugel kreeg het hoofdgebouw een asymmetrische ligging ten opzichte van de voorburcht.
De hoofdburcht bezat een zekere luxe want hij was voorzien van leien daken en ook waren mergelsteen en hardsteen in de muren verwerkt en sierlijsten aangebracht. In de hoofdburcht bevonden zich ook de wijnkelder en de kerker. De toren bevatte een geselkamer, waar martelwerktuigen werden bewaard. Deze werden daadwerkelijk gebruikt tijdens de heksenprocessen zoals die onder Erasmus van Grevenbroeck in 1595 gevoerd zijn.
De voorburcht
In diverse geschriften wordt het kasteel omschreven als een imposant, hoog en massief gebouw dat omgracht was en voorzien van een voorburcht.
Om het kasteel te kunnen bereiken, moest men eerst via een smalle stenen boogbrug naar de voorburcht en vervolgens via een ophaalbrug naar het kasteel zelf. Vooral tijdens de heksenprocessen profiteerde de heer hiervan, want de inwoners van Mierlo waren toen geen gewaardeerde gasten op het kasteel. Veelal kwamen ze niet verder dan de poort in de voorburcht, zodat de heer en zijn gezin niet belaagd konden worden. Als ze al verder kwamen, dan was dat meestal voor de kerker of geselkamer.
Tot de voorburcht behoorden de stalling voor paarden en koetsen, een kapel en de boerenhoeve (Neerhuizinge genaamd). Op de plaats van de paardenstallen moet eerder al een gebouw hebben gestaan, maar dat was door brand verloren gegaan. De officiële inwijding van de kapel vond plaats op 8 juni 1475. Omdat in de kapel ook de mis werd gelezen, was het eigenlijk een soort privékerk voor de heer. De rector van de kapel had dezelfde rechten binnen het kasteel als de andere dienaren en huisgenoten en genoot vrijheid van tol en andere heerlijke rechten.
De voorburcht was ommuurd en op drie hoeken voorzien van een toren. De bevoorrading ging via de gracht; met diverse hefboommechanismen werden goederen via platbodems in- en uitgeladen.
De heerlijkheid is achtereenvolgens in het bezit geweest van de families:
Ca. 1256 – 1334 Van Rode (van Mierlo),
1334 – 1335 Van Langel
1335 – 1356 Van Cuijk
1356 – 1501 Dickbier
1501 – 1518 De Swaeff
1518 – 1674 Van Grevenbroeck
1674 – 1765 Van Scherpenzeel
1765 – 1794 De Heusch
Verval en sloop
Toen in de 17e eeuw de heerlijkheidsrechten werden ingeperkt en vervolgens de Mierlose bevolking in 1617 een groot deel van de heerlijkheidsrechten afkocht, werd de Heerlijkheid Mierlo voor de heren minder interessant.
Vanaf dat moment bleek ook steeds vaker dat de heer niet meer op het kasteel woonde, maar zijn heil op een andere plaats zocht. In 1736 werd het kasteel, inclusief de hoeve, getaxeerd op 5.000 gulden en dat was evenveel als de windmolen van Mierlo. Dit bedrag geeft aan dat de bouwkundige toestand op dat moment al zeer te wensen overliet. Het kasteel raakte in de loop van de 18de eeuw verder in verval. Toen het na 1765 voornamelijk door pachters van het jachtrecht werd bewoond, ging het verval nog sneller.
De heerlijkheid leverde niet genoeg geld meer op om kasteel en bijgebouwen ingrijpend te restaureren; alleen het hoogstnodige onderhoud werd uitgevoerd. In 1771 werden de leien op het dak van de hoofdburcht gedeeltelijk vervangen, maar dat was zover bekend de laatste grote onderhoudsactiviteit. De indruk wordt gewekt dat de heer van Mierlo het gebouw bewust liet vervallen. In 1795 werd het eerste gedeelte van het kasteel gesloopt, waarna andere delen in 1804 en 1809 werden afgebroken. De stenen, balken en andere bouwmaterialen werden openbaar verkocht. Ook werden bouwmaterialen van het complex gestolen en verwerkt in andere gebouwen, waarschijnlijk in de omgeving van het kasteel.
De hoeve bleef, zoals we uit de kadastrale kaarten kunnen afleiden, nog lang bestaan omdat deze inkomsten opleverde.
De laatste heren en vrouwen van Mierlo
In de nieuwe rechtsorde van 1795, die in het Nederland van de Bataafse Republiek werd ingevoerd, was het instituut van de ambachtsheerlijkheden moeilijk te verenigen met de kreet: vrijheid, gelijkheid en broederschap. De Staatsregeling van 1798 moest voor eens en altijd met de heerlijke rechten afrekenen. Dat betekende afschaffing van allerlei heerlijke rechten van de adel en heerlijkheden, zoals molenrecht, windrecht, visrecht, jurisdictie/rechtspraak etc. De rechterlijke macht werd voortaan door de landelijke overheid geregeld. De Mierlonaren hadden die rechten in 1617 weliswaar al grotendeels afgekocht, maar de heren van Mierlo wonnen daarna steeds meer rechten terug door allerlei procedures. In 1898 kwam daar dus definitief een einde aan.
Nadat de heerlijke rechten op grond van die Staatsregeling formeel werden afgeschaft, bleven de afstammelingen van de heren van Mierlo wel hun titel voeren. Daar waren echter vrijwel geen (financiële) voordelen meer aan verbonden. Toch bleven er nog wel enige heerlijke rechten bestaan, zoals het jachtrecht. De kasteelheren (eigenlijk alleen in naam, want ze woonden er niet meer en het kasteel raakte in verval) behielden nog lange tijd hun grote hoeven en uitgestrekte landerijen in Mierlo.
De laatste vrouwe van Mierlo was Leopoldina Louisa van Scherpenzeel Heusch, zij overleed in 1920. Daarmee kwam een einde aan bijna 700 jaar heren van Mierlo, van Roelof Rover van Rode tot aan de genoemde laatste Vrouwe van Scherpenzeel Heusch. In de jaren 1934 – 1936 hebben nazaten van haar de laatste bezittingen verkocht.
Twintigste eeuw tot heden
In de eerste helft van de 20e eeuw waren van het kasteelcomplex bovengronds nog slechts de restanten van de poort over. De ver-lande en dichtgegroeide grachten waren een kleine wildernis geworden met hazelaar en wilgen. De poort naar het kasteelcomplex is tot omstreeks 1948 als laatste overeind blijven staan en is na een zware storm gesloopt.
Van de vroegere eigendommen van de heren van Mierlo resten nu alleen nog de windmolen (die nu in het centrum staat) en een kasteelboerderij, beide Rijksmonumenten. Daarnaast is er nog het in 1732 gebouwde secretarijhuis dat, nadat het kasteel was gesloopt, tevens dienst heeft gedaan als logeeradres voor familie en vrienden als die kwamen jagen. Het gebouw is in Mierlo ook beter bekend als het Jachthuis. Een aantal jaren geleden is het totaal verbouwd, hoewel het wel zijn contouren heeft behouden.
De locatie van het kasteel ligt nog duidelijk als een verlaging (oud beekdal van de Kasteelse loop) midden in een weiland. In 1990 heeft bureau RAAP , een zeer gerenommeerd Onderzoeks- en Adviesbureau op het gebied van archeologie, erfgoed en historie, een onderzoek gedaan. Daaruit bleek dat er nog redelijk wat funderings- en muurresten in de grond aanwezig zijn. Omdat het in 2014 de status van gemeentelijk monument heeft gekregen en de gemeente de exacte ligging van de te beschermen locatie moest bepalen, zijn in 2015 en 2016 opnieuw onderzoeken gedaan. Het meest verrassende gegeven uit die onderzoeken is de mogelijke aanwezigheid van een 2e omgrachte voorburcht.
Weijerke
Tussen de kerk en het kasteelterrein ligt nog een vijver met een eiland dat ook heeft toebehoord aan de heren van Mierlo. Het geheel is prachtig omzoomd met zomereiken als een tastbare herinnering aan een rijk verleden.