Det er meget tænkeligt, at forklaringen på, at igangsættelsen af byggeriet blev forsinket, skal søges i endnu en umisforståelig melding fra professor Gram. Både arkitekterne og ingeniøren ville nemlig placere sanatoriet øverst oppe på bakken, mens Gram var fast besluttet på, at det skulle ligge nede i lavningen for at undgå træk. Arkitekterne og ingeniøren indvendte, at det ville blive en meget dyr løsning. Hertil replicerede Gram ifølge Ræder: "Der er ikke blevet spurgt om udgifterne, men d'herrer kan jo sige, at de ikke kan bygge det der". Den bemærkning faldt ikke i specielt god jord, og arkitekterne og ingeniøren svarede noget surt, at de såmænd kunne bygge sanatoriet ude midt i fjorden, hvis man ellers ville betale for det.
Gram fik gennemtrumfet, at sanatoriet skulle ligge ved bakkens fod, selvom det altså kom til at få betragtelige konsekvenser for byggeriets økonomi. Men det har antagelig taget sin tid, og derfor er det måske ikke så mærkeligt, at Jerichau-Christensen, Ingemann og Jensen først mødtes igen adskillige måneder senere og her tilsyneladende for alvor satte gang i byggeriet.
Byggeriet viste sig at blive langt mere besværligt, end nogen havde kunnet forudse. For det første var der masser af "glideler" eller "flydeler" på grunden, og det var lige ved at føre til, at hele byggeriet måtte opgives. Leret knuste de nedrammede pæle om natten, og det blev nødvendigt at støbe lige så meget under jorden, som der blev bygget over jorden. Det siger sig selv, at det påførte byggeriet betydelige ekstraomkostninger.
Det fik Julemærkekomiteen til at ryste på hænderne. Det stod nemlig klart, at byggeriet langt ville overskride det oprindelige budget. Prisen var nu et stykke over 700.000 kr., og det huede slet ikke Holbøll. Han mente, at hele julemærkeideen ville blive ødelagt, eftersom man med byggeriet i Kolding bandt indtægterne fra julemærkesalget flere år frem i tiden, og han ønskede derfor drastiske ændringer af projektet i Kolding.
Men komiteens formand Jerichau-Christensen nægtede hårdnakket at revidere byggeplanerne, og derved blev det. Byggeriet kunne omsider gå i gang [link 1dii].