Jalan ini bermula dari persimpangan Jalan Pintu Pong di sebelah hulu dan menghala ke sebelah hilir hingga ke persimpangan Jalan Wakaf Mek Zainab. Nama jalan ini ialah sempena sebuah kebun kepunyaan Sultan Muhamad IV (1900-1920 Masihi). Pada masa dahulu iaitu sebelum tahun 1920 Masihi terdapat sebuah rumah kayu yang agak tinggi dibina dengan bentuk yang indah berupa seperti sebuah istana. Rumah itu mempunyai banyak tingkap. Semua tingkap atau jendela dan dinding-dinding memakai cermin yang berwarna-warni sementara pintu-pintu ukiran yang menarik. Di dalam rumah itu dihiasi dengan berbagai-bagai alat perkakas yang cantik pernah digunakan dalam istana-istana. Begitu juga di sana terdapat alat-alat senjata seperti keris, lembing, pedang, tombak, cokma, bedil-bedil meriam kecil yang diperbuat daripada tembaga dan lain-lain lagi yang merupakan lambang kebesaran, kedaulatan raja-raja dan kebanggaan perwira-perwira di zaman lampau. Jadi rumah itu tak ubah sperti sebuah muzium dan di sekelilingnya dihiasi pula dengan pokok-pokok bunga dan buah-buahan. Rumah itu telah dibangunkan oleh Sultan Muhamad IV pada tahun 1903 Masihi sebagai tempat peranginan baginda. Ia diberi nama balai yang kemudiannya disebut orang dengan nama "Kebun Sultan". Rumah itu dan segala isinya telah tiada lagi ditelan zaman. Jalan Kebun Sultan ini memanjang terus dari hilir ke hulu dan bertemu dengan dua persimpangan jalan yang lain iaitu Jalan Merbau dan Jalan Pintu Pong. Penghabisan Jalan Kebun Sultan bertemu dengan tiga persimpangan jalan yang lain iaitu Jalan Tengku Seri Maharani, Jalan Padang Garong dan Jalan Padang Bongor.