Under Københavns brand brændte skolen ned til grunden, og skolen flyttede til Købmagergade i en bygning tæt på Rundetårn. Her holdt skolen til frem til 1875, hvor man flyttede til den nuværende adresse på Nørre Farimagsgade.
Kongen havde foræret stiftelsen den store bygning “Det Ridderlige Akademi” på Nytorv. Her havde man tidligere uddannet landkadetter. Bygningen blev indrettet til skoleformål og modtog på stiftelsesdagen, som også var kongens fødselsdag, de første 100 forældreløse børn. Stiftelsesdagen festligholdes stadig.
I 1740 tildelte Christian VI stiftelsen bibelprivilegiet og i 1778 fik vi, under Christian VII, salmebogs-privilegiet. Disse privilegier tilhører Vajsenhuset den dag i dag og udgør en væsentlig del af skolens økonomi. I fundatsen for Det Kongelige Vajsenhus skriver Frederik IV bl.a.:
“Børnene skal vel grundes i Guds Kendskab og vel anføres i Læsen, Skriven og Regnen. Dernæst skal de oplæres i gode Sæder, og hvad videre, som kan gjøre dem beqvemme til Arbejde og Tjeneste.”
Efter Københavns brand i 1795, hvor skolen brændte ned til grunden, flyttedes den til Købmagergade ved Rundetårn.
Siden starten af 1800-tallet har skolen også optaget børn af enlige forsørgere.
Kostskoleafdelingen blev nedlagt i takt med, at de forældreløse børn kom i familiepleje.
I 1875 indviedes en ny skolebygning i Nørre Farimagsgade ved Nørrevold. Det er i denne bygning skolen stadig holder til.
I 2002 indviedes en ny bygning i gården bag den oprindelige hovedbygning
Ved stiftelsesfesten i 2008 blev den nye tagetage på hovedbygningen indviet. Efter et år med stillads, håndværkere, larm og støv, kunne det nye bibliotek samt lokalerne til billedkunst og håndarbejde endelig tages i brug. Den nye tagetage blev støttet af Realdania.
I 2012 fik skolen en ny skolegård med klatrestativ, rutsjebane, boldbur og andre redskaber, der inspirerer eleverne til leg og bevægelse i frikvartererne. Skolegården blev finansieret af AP Møller Fonden.
