Fra 1960 til 1988 blev Koldingfjord anvendt af Åndssvageforsorgen. I de mange bygninger på området samledes efterhånden en lang række forskellige institutioner og afdelinger med hver deres målgruppe. Der var meget stor forskel på, om der var tale om ældre og stærkt plejekrævende åndssvage, eller om der var tale om unge, der skulle undervises med henblik på at få en tilværelse så nær det normale som muligt, og målet med arbejdet med dem var derfor i sagens natur også vidt forskelligt. Det samlende navn for alle institutionerne var Koldingfjordskolen - og dette navn stod malet på en rød portal ved indkørslen.

Alt i alt dannede Koldingfjord i åndssvageforsorgsperioden rammen om 125-150 personers dagligdag, og det samlede personale var på omkring 125, inklusive tømrere, snedkere, gartner og chauffører.

Da bygningerne på Koldingfjord fik sine nye funktioner, var der netop ved at ske en række store ændringer inden for hele den danske åndssvageforsorg. Ifølge den ny Åndssvagelov fra 1959 skulle forsorgen ikke længere være en tvungen foranstaltning, men en individuel og frivillig service. Ligeværdighed og lige ret blev nu nøgleordene i den danske åndssvageforsorg, og målet var "normalisering", d.v.s. at de udviklingshæmmede skal kunne leve et liv, der er så tæt på det normale som muligt.