Fra begyndelsen var det faktisk slet ikke en velgørende indsats, som julemærkets opfinder, postekspedient Einar Holbøll, havde i tankerne. Idéen kom til ham op under jul i 1903, hvor han i "Afgående post" på Købmagergades Posthus i København "gik og syltede i breve og kort". De mange julekort og -breve, som stort set var uden indhold, og som modtagerne alligevel aldrig svarede på, ærgrede ham: "Der burde sættes en højere skat på dem, de ødelægger juletiden for os postfolk; hvor mange af os kan komme til at holde en ordentlig juleaften?"
Ideen om et særligt julemærke begyndte altså faktisk som en postal idé om en slags strafporto eller ekstraskat på julebrevene, fordi de skabte irriterende stor travlhed på posthusene. Men så gik idéen tilsyneladende i glemmebogen for en stund, og det fortaber sig faktisk lidt i det uvisse, hvad det var, der fik Holbøll til at konkretisere idéen det følgende år, og hvordan det gik til, at julemærket i stedet for blev et velgørenhedsmærke.
Men da først Holbøll er kommet på den tanke at skabe et julemærke, som skal tjene et velgørende formål, reagerer han hurtigt og med en for ham karakteristisk impulsivitet og gudbenådet evne til at sætte himmel og jord i bevægelse. Typisk for Holbøll gik han helt til tops og henvendte sig til departementschef P. A. Jerichau-Christensen (1859-1916) i Finansministeriet, der havde postrevisionen under sig. Samtidig tog han også kontakt til nationalbankdirektør Rasmus Strøm og grosserer Moses Melchior, der var kendt som en stor filantrop og flittig bidragyder til forskellige velgørende formål.
På forunderlig vis får han dem alle til at bakke op om idéen, og han formår sågar at få dem til at gå ind i den Julemærkekomité, som ser dagens lys i november 1904. Foruden Jerichau-Christensen, der blev formand, Strøm og Melchior samt Holbøll selv omfatter komiteen bl.a. imponerende navne som grosserer Emil Vett fra Magasin du Nord, de københavnske borgmestre Jacobi og Jacob Jensen samt professorerne Gram og Meyer, der udgør komiteens lægelige ekspertise.
Den 16. november 1904 kan man i Berlingske Tidende læse, at komitéen er "trådt sammen for at drøfte en idé, der er udkastet af postekspedient Einar Holbøll, og som går ud på at fremstille et 2 øres velgørenheds-postmærke", og at man ved at købe og anvende mærket "på en både nem, snild og smuk måde støtter den velgørenhedssag, oprettelsen af det hårdt savnede tuberkulosesanatorium for børn, som det er meningen, at de for postmærket indkomne penge skal anvendes til".
Komiteen arbejdede imponerende hurtigt. Allerede den 10. december var man klar med det første mærke, og salget kunne gå i gang rundt om på landets posthuse og hos landpostbudene. Og da julen var overstået, kunne komitéen ånde lettet op, for julemærket blev straks fra starten en stor succes. Der blev allerede det første år solgt 3,4 mio. julemærker, hvad der må siges at være rigtig godt gået i et land, som på det tidspunkt havde knap 2½ mio. indbyggere. Salget af 1904-mærket indbragte i datidens penge 73.950 kr.
