Allerede i 1957 rykkede Åndssvageforsorgen ind i de to tidligere spæd- og småbørnspavilloner. Den største pavillon, som er beliggende længst mod øst, blev benævnt F1 (også kaldet Fjordglimt). Her boede mændene under temmelig trange forhold. Rummene var indrettet med sygesenge, 2 på de små rum og 4-5 på de lidt større rum - foruden den store sovesal, hvor der boede 10 patienter. Kvinderne boede i den mindre, vestlige pavillon F2 (kaldet Granly), og her var rummene knap så store; på de største stuer boede 6 kvinder sammen.

Patienterne var i alle aldre fra 18-70 år, og mange af dem var blinde. Den daglige rutine var meget monoton: Patienterne blev vasket ved hjælp af et rustfrit fad ved sengen - én gang om ugen kom de dog i bad - og dem, der var i stand til at komme op, blev efter vasken placeret i fællesstuen, som var mørk og meget lidt hyggelig. De, der kunne sidde, blev anbragt i stole, som var fastnaglet til gulvet, og her tilbragte de så nogle timer, ofte fastspændt med såkaldte "tyskerremme". Efter spisningen midt på dagen - som var en tidkrævende manøvre, fordi de færreste patienter var i stand til selv at spise og derfor skulle mades - gentog mønstret sig om eftermiddagen, og alle patienter kom tidligt i seng, fordi der var begrænset personale til rådighed til nattevagten.

Ungdomskostskolen havde til huse i de bygninger ovenfor Koldingfjord, som blev bygget som sygeplejeelevboliger i begyndelsen af 1940'erne, og som nu under navnet Skovly er annex til hotellet. Det var landets første ungdomskostskole, og oprindelig var den kun for piger. Der var plads til 12-14 piger i alderen 18 til 21 år - og opholdet varede to år. Der var ikke tale om en anbringelse, men om en uddannelsesmulighed for de unge og mest velfungerende piger, hvor man kun fik plads efter ansøgning.

Hovedbygningen rummede først og fremmest Eksternatskolen Koldingfjord. Eksternatskolen skiftede i 1977 navn til Holbøllskolen - og noget mere respektløst blev den i folkemunde benævnt "Kolbøtteskolen". Eksternatskolen åbnede i august 1960, og samtidig tiltrådte førstelærer Svend Mogens Almose som skoleleder. Skolen havde plads til op til 150 børn og unge i alderen 7-21 år, som for langt de flestes vedkommende boede hjemme, men som kom her hver dag, og som også spiste deres middagsmad her. En halv snes piger boede på skolehjemmet i bygningen vest for den centrale gårdsplads, men de fleste børn kom fra Kolding og nærmeste omegn.

Formålet med skolen var selvfølgelig at give børnene almindelig skoleundervisning, men det var i endnu højere grad at gøre dem rolige og tillidsfulde. "Børnene skal blot have det godt, og vi skal i undervisningen søge at nå så langt med dem som muligt ud fra den enkeltes forudsætninger. Børnene skal føle sig trygge, for ellers kan vi lige så godt opgive det hele. Og tryghed skaber man kun gennem forståelse", forklarede skoleleder Almose i et interview. Samtidig understregede han, at der var afsat tid til at tage sig af den enkelte elev, og at undervisningen i højere grad end i folkeskolen var lagt an på den enkelte, den enkeltes forudsætninger og personlighed.

Fra januar 1961 kom Koldingfjord til at huse en helt ny type institution, nemlig et beskyttet beskæftigelsesværksted. Det var et af de første i landet, og det startede særdeles beskedent i midlertidige lokaler i hovedbygningen. Værkstedet havde til en begyndelse 6 elever af begge køn i alderen fra 16 til 40'erne, og det var åbent mandag til fredag fra kl. 8.30 til 15.30, afbrudt af en spisepause, hvor køkkenet serverede tre halve og en skive franskbrød. Snart kom der dog flere til, og den lille "flok" voksede til en snes stykker i løbet af de første par år. Værkstedets første "ordre" bestod i bundlimning af poser til løg fra et frøfirma, og de første pensler, som blev brugt til at lime poserne med, var hjemmelavede. Det var træpinde med skumgummidupper på - men de fungerede efter hensigten.

I overlægeboligen Louisehøj boede inspektøren og hans kone og indimellem også lægepraktikanter. I 1971 flyttede inspektøren imidlertid til en anden bolig, og Louisehøj blev indrettet til de bedst fungerende voksne piger. De deltog selv i lettere rengøring, i servering og opvask og havde i det hele taget et lidt mere normalt liv med flere personlige ejendele på deres værelser og en hyggelig oplevelsesstue.

På afdeling E i den gamle isolationsbygning boede 12 børn og unge mennesker med gennemgribende udviklingsforstyrrelser og med en række medfødte handicaps som døvblindhed, blindhed og autisme. Omkring midten af 1960'erne var patienterne i alderen fra 1½ til 15 år, og den mindste var en lille dreng, som var blevet hjerneskadet efter en vaccination. Disse patienter hørte til blandt de allerdårligste, og forholdene var på ingen måde optimale med de triste og mørke sovesale, men det lykkedes nogle ildsjæle - og ganske særlig en af beboernes mødre - at udvirke, at der blev bygget en ny institution i 1977, som kom til at hedde Æblehaven. Da Koldingfjord i 1987 blev solgt til hotel, blev Æblehaven undtaget gennem en udmatrikulering.