Na het overlijden van de priester lieten de executeurs van zijn testament hier een complex van twaalf huisjes bouwen. De kleine huisjes staan rondom een gezamenlijke binnentuin, waar bewoners vroeger water haalden bij een pomp en elkaar ontmoetten voor een dagelijks praatje. In de 17e eeuw gold zo’n hofje als een vorm van sociale zekerheid, lang voordat de overheid daarvoor zorgde.

Het hofje kreeg dertien huisjes en bood plaats aan twaalf echtparen, die hier in stilte en eenvoud mochten wonen. Zij hadden de plicht om wekelijks een mis bij te wonen in de Onze Lieve Vrouwekerk, waar zij baden voor het zielenheil van Willem van Tetrode en zijn echtgenote. Het dertiende huis was bestemd voor de weduwe van Van Tetrode.

Het gasthuis had al vanaf het begin een kapel, en deze werd in 1638 in gebruik gegeven aan de Waalse gemeente. Leiden had in de 16e en 17e eeuw namelijk een enorme Franstalige bevolking. Deze was eerst vanwege het Spaanse geweld naar het noorden gevlucht, en een eeuw later nadat koning Lodewijk XIV een einde maakte aan de relatieve geloofsvrijheid in Frankrijk. Nadat het gasthuis werd opgeheven, bleef de kapel. Dit werd de Waalse kerk, en deze staat er nog steeds. Tot op de dag van vandaag vinden hier Franstalige diensten plaats.

De panden werden verbouwd tot een nieuw hofje dat specifiek bedoeld was voor de huisvesting van vier echtparen en acht vrouwen, waaronder ongehuwden en weduwen. Een voorwaarde was dat zij allen lid moesten zijn van de Waalse Gereformeerde Kerk. In 1694 was het hofje officieel af. Het jaartal 1610 dat boven de deur van het hofje staat, geeft de leeftijd van het pand weer. Deze gevelsteen zat er al toen Jan het pand kocht.

Speck financierde het hofje met eigen geld, afkomstig uit aandelen in de VOC. In zijn testament van 1645 regelde hij de verdere stichting en exploitatie van het hofje, expliciet bedoeld voor "arme, eerlijcke, deugdzame luiden". Door de beperkte omvang van het terrein bij zijn woning is het hofje vrij klein gebleven en bestaat het uit slechts enkele huisjes.

Na de dood van haar man kocht Marie de inmiddels vervallen huisjes achter de Engelse Poort; die naam was een eerbetoon aan de eerdere bewoners. In 1681 overleed Marie, en de executeurs kochten en sloopten twee aangrenzende huizen om plaats te maken voor het hofje. De bouw hiervan werd afgerond in 1683. Tot de tweede helft van de 20e eeuw werd het hofje bewoond door ouderen, tot de huisjes aan renovatie toe waren. Sindsdien wonen er studenten in het hofje.

Het bouwen van het hofje kwam Jacob overigens goed uit. Hij was ooit een strenge, calvinistische burgemeester van Leiden, die zonder dit hofje de geschiedenis in was gegaan als vervolger van de remonstranten. Ook liet hij het hofje na zijn dood in 1642 na aan het stadsbestuur van Leiden, wat het hofje direct een enorme status gaf. De belangrijkste mannen van de stad werden verantwoordelijk voor het hofje en de bewoners, en niet geheel toevallig hadden familieleden van de Brouchovens voorrang op een woning.

Ondanks haar rijkdom voelde ze compassie voor vrouwen die het minder breed hadden. In haar testament bepaalde ze dat haar nalatenschap gebruikt moest worden om woningen te bouwen voor vrouwen van veertig jaar en ouder, zonder man om voor hen te zorgen. Eva was zelf een 'kuise maagd', en ze liet dan ook vastleggen dat het hofje bewoond moest gaan worden door 'kuise maagden en eerbare weduwen'.

Na haar overlijden in 1652 voerden haar executeurs haar wens uit. Ze kochten verschillende bouwkavels aan de Doelensteeg en gaven de stadsarchitect Arent van ’s-Gravensande de opdracht om het hofje te ontwerpen. Tussen 1654 en 1655 verrezen hier twee rijen van elk zes huisjes, gescheiden door een nette binnentuin waar de bewoonsters elkaar konden ontmoeten.

Het hofje werd oorspronkelijk gesticht met dertien huisjes. Dit was geen willekeurig getal. In de middeleeuwse katholieke traditie verwees dit symbolische getal vaak naar Christus en zijn twaalf apostelen, een teken van vroomheid van de stichters.

Het hofje was bedoeld voor de huisvesting van dertien weduwen of maagden. De voorwaarden voor toelating waren dat zij ouder dan 40 jaar moesten zijn en ‘van onbesproken gedrag’.

De executeurs konden in de reeds volgebouwde stad geen geschikte locatie vinden voor een rij huizen. Daarom moesten zij genoegen nemen met de bouw van slechts zes huisjes, een regentenkamer en een poortgebouw.

In de eeuwen daarna is het nog wel flink uitgebreid; in 1863 werden er vijf huisjes bijgebouwd, in 1879 een twaalfde huisje, en in de 20e eeuw zijn er huisjes samengevoegd en ook weer bijgebouwd.

Het hofje is hierna meerdere keren verbouwd: voor het eerst in 1788, en het is rigoureus herbouwd in 1915, op initiatief van een van de regenten. Dit was Carel Pape, een rechtsgeleerde en kunstverzamelaar. Het hofje was destijds erg vervallen, en Pape betaalde uit eigen middelen voor een nieuw ontwerp. Hij liet het bouwen door architect Willem Cornelis Mulder, die al eerder het Bethlehems Hofje had vernieuwd.

Het hofje aan het Levendaal, destijds 'Den Houcksteen', werd in 1660 opgericht door de Vlaamse Doopsgezinde Gemeente. In 1701 fuseerden beide doopsgezinde gemeenten. Een eeuw later, in 1811, werd het financieel en praktisch te lastig om de twee aparte hofjes te blijven beheren. Toen werd de knoop doorgehakt: beide hofjes werden financieel verenigd onder de naam Bethlehem.

Een van de hofjes moest 'verhuizen'. Het hofje aan het Levendaal bleef, en het oorspronkelijke Bethlehemhof aan de Langegracht werd verkocht. In 1897 vond er een grote verbouwing plaats: de straatkant van het 'nieuwe' hofje werd van een eigen gevel voorzien en de huisjes kregen een bovenverdieping.

De architectuur van het hofje is bijzonder. Om de beschikbare grond optimaal te benutten, ontwierp architect Willem van der Helm het complex in een ruitvorm. Deze ruitvorm is een terugkerend thema in het ontwerp: het stukje grond rond de waterpomp is ruitvormig, de vloertegels in de hal volgen een ruitpatroon, en zelfs de putdeksels zijn ruitvormig.

Pas in 1509 was de kapel af. Dit kwam door onenigheid met de belangrijke Sint-Pancraskerk (de Hooglandse Kerk) over de bouw van een eigen, privékapel in het hofje. Na het maken van strikte afspraken werd de bouw goedgekeurd. Een van deze regels was dat enkel hofjesbewoonsters (dertien vrouwen) de missen bij mochten wonen.

De laatgotische kapel is tegelijkertijd het meest bijzondere aan het Sint Annahofje. Deze kapel is zo bijzonder omdat het een van de weinige katholieke kapellen in Leiden is die tijdens de beeldenstorm heel is gebleven. Terwijl de meeste katholieke kerken werden verwoest of omgebouwd voor protestants gebruik, bleef deze privékapel in haar oorspronkelijke staat, omdat de plunderaars de kapel simpelweg over het hoofd zagen. Hierdoor is het enige originele Leidse altaar uit de 15e eeuw hier nog steeds te bekijken*, en de ramen bevatten het oudste gebrandschilderd glas van Nederland.
*De kapel is nu een klein museum, en tegen een kleine vergoeding is het op zaterdagmiddag tussen 14.00 en 16.00 uur te bezichtigen.

De moeilijke start in het leven van Van der Schacht is de directe aanleiding geweest voor de stichting van zijn hofje. Uit zijn testament blijkt een duidelijke wens om terug te geven en te zorgen voor mensen met een vergelijkbare achtergrond. De huisjes in zijn hofje waren met voorrang bestemd voor zijn eigen familieleden en die van zijn vrouw, en personen die, net als hij, in het weeshuis van Leiden waren opgegroeid.

De pomp in het hofje dateert uit 1730. Het bijzondere aan deze pomp is dat het een dubbele pomp is; hij heeft twee zwengels en twee tuiten, die verbonden waren met twee aparte waterbronnen. De zwengel met een P was verbonden aan een waterput met grondwater (P voor pompwater), de zwengel met een R was verbonden aan en een grote waterkelder voor de opslag van regenwater.

Pas in 1736, ruim 50 jaar na het overleden van Houttijn, ontdekte de ijverige ouderling Dorremans dat het testament van François Houttijn nooit was uitgevoerd. Dorremans was vastbesloten om het hofje alsnog te laten realiseren. Hij confronteerde het bestuur van de gemeente met deze ontdekking en drong er met succes op aan om de laatste wil van de erflater alsnog uit te voeren.

Het hofje werd uiteindelijk gebouwd in 1737. Na eeuwenlang bejaarden te hebben gehuisvest, werd het hofje in 1965 verkocht aan de stichting Leidse Studentenhuisvesting. Het complex werd vervolgens gerestaureerd en huisvest sindsdien studenten.

Van 1654 tot 1934 had het hofje een kerk als buurman. Van 1654 tot 1839 was dit aan de buitenkant niet zichtbaar; na de Reformatie was het katholieke geloof officieel niet toegestaan en vonden hier diensten in het geheim plaats. Deze katholieke schuilkerk heette 'de Vergulde Zon'. Na de godsdienstvrijheid werd in 1839 op deze plek een officiële kerk gebouwd, de Rooms-Katholieke O.L. Vrouw Hemelvaartkerk, in de volksmond beter bekend als de Mon Pèrekerk.

Van der Linden was echter een cruciaal punt vergeten in zijn testament: hij liet amper geld na voor het onderhoud, en de huisjes raakten al snel in verval. De redding kwam in 1691 door een legaat dat via François Houttijn toekwam aan de Remonstrantse Gemeente. Hoewel dit geld eigenlijk bestemd was voor de bouw van een eigen hofje (het latere Houttijnhof), besloten de regenten het geld te gebruiken voor de broodnodige opknapbeurt van het Van der Lindenhofje.

Tussen 1778 en 1780 werd het hof verbouwd en kreeg de regentenkamer een prachtig stucplafond. Een blikvanger op de binnenplaats is de hardstenen pomp, die wordt bekroond met een burcht en een daarboven geplaatste meerman (een zeewezen). De meerman zie je overigens op meer plekken terug.

Een zware voorjaarsstorm in 1837 maakte een bijna complete vernieuwing van het complex noodzakelijk. De stichting had genoeg financiële middelen om dit zelf te kunnen bekostigen.

In 1968 telde het hofje nog slechts twee bejaarde bewoners; het complex was vrijwel onbewoonbaar geworden. Daarna stond het een tijd leeg en werden de ruimtes verhuurd aan een nabijgelegen flessenpakhuis en een distilleerderij.