Rudy Hartono adalah anak ketiga dari 9 bersaudara yang lahir dari pasangan Zulkarnain Kurniawan. Orang tua Rudy tinggal di Jalan Kaliasin 49 (sekarang Jalan Basuki Rahmat), Surabaya, Jawa Timur dan bekerja sebagai penjahit pakaian pria. Selain itu orang tua Rudy juga mempunyai usaha pemrosesan susu sapi di Wonokromo, Jawa Timur. Seperti anak-anak seumuran lainnya, Rudy kecil juga tertarik dengan berbagai macam olahraga sejak SD, terutama atletik dan renang. Pada masa SMP dia juga berkecimpung di olahraga bola voli dan pada masa SMA dia juga adalah pemain sepakbola yang handal. Tapi dari semua olahraga yang dia ikuti, keinginan terbesarnya akhirnya hanya jatuh pada permainan bulutangkis. Pada usia 9 tahun, Rudy kecil sudah menunjukkan bakatnya di bulutangkis. Tetapi ayahnya baru menyadarinya ketika Rudi sudah berumur 11 tahun. Sebelum itu Rudy hanya berlatih di jalan raya aspal di depan kantor PLN di Surabaya, yang sebelumnya dikenal dengan Jalan Gemblongan - ditulis oleh Rudy Hartono dalam bukunya Rajawali Dengan Jurus Padi (1986).