海頓出生在當時奧匈邊境的一個叫做羅勞的村子,父親是車匠。儘管父母親不識譜,但在海頓的記憶里,一家人還有鄰居們經常一起唱歌。在海頓很小的時候,人們就發現了他的音樂天賦。他五,六歲時,也就是1737或1738年,被送到海茵堡附近的親戚家,以接受那裡教堂唱詩班的訓練。1740年,在當時維也納的史蒂芬大教堂音樂總監喬治·羅伊特爾下鄉選苗子的時候被相中。羅伊特爾把海頓帶到了維也納,在其後的九年裏海頓一直在兒童合唱團唱歌。在最後的四年是和他的弟弟麥可在一起。其間海頓學習唱歌,鋼琴和小提琴。羅伊特爾修改了海頓的第一首作曲,但並未給他正規教授作曲課。儘管如此,海頓還是學到了很多——主要是通過自學,另外他很小就開始享受維也納音樂環境的熏陶,這對一個音樂家來講是至關重要重要的。關於他是否在那時已經研習了Johann Mattheson的Der vollkommene Capellmeister和Johann Joseph Fux的Gradus ad Parnassum 歷史還無定論。但這兩首作品成為海頓以後成長的基石。
1749年,海頓身體已經成熟,已經無法唱齣兒童合唱團要求的童聲,於是被找了個借口趕出合唱團。 據說他在公園長凳上過了一夜,但隨後被朋友收留,開始了他的自由音樂人的生涯。在這之後十年的艱難歲月裡,海頓做過很多不同的工作,當過義大利作曲家尼考洛·波爾波拉(Nicola Antonio Porpora)的隨從。他努力學習,以填補自己專業上的不足之處。並寫出了他的第一首四重奏和第一首歌劇。在這期間,海頓的專業造詣逐漸提高,羽翼漸豐。