Jalan ini bermula dari bucu Jalan Kebun Sultan berhadapan dengan Istana Seri Cemerlang (telah diroboh dalam tahun 1963 Masihi). Istana Seri Cemerlang ialah bekas istana Sultan Ibrahim (1944-1961 Masihi). Jalan Pintu Pong ini menghala terus ke belakang Istana Balai Besar. Nama Pintu Pong itu diambil dari sebuah pintu buluh iaitu pintu sebuah kandang di mana disimpan atau dipelihara (dibela) gajah-gajah kepunyaan Sultan Muhamad IV. Dikatakan di musim kemarau kerapkali buluh pintu itu pecah dengan mengeluarkan bunyi "pong" lalu diambil sempena bunyi itu diabadikan kepada nama jalan itu. Jalan Pintu Pong ini melintasi sebuah parit yang dalam dan di zaman lampau merupakan pintu belakang kawasan "Buluh Kubu" atau "Dalam Kubu".