Drugi opštinski sud u Beogradu osnovan je 5. februara 1945. godine pod nazivom Drugi narodni sreski sud za I, IX i X rejon grada Beograda. Zakonom od 17. maja 1945. godine postaje nadlezan za III rejon grada Beograda, a maja 1947. godine menja naziv u Drugi sreski sud za grad Beograd.
Teritorijalna nadleznost Drugog sreskog suda bila je utvrdjena odlukom iz juna 1955. godine i to za podrucja beogradskih opština Zeleznik, Zapadni Vracar, Rakovica, Savski venac, Topcidersko brdo, Terazije i Cukarica. Kao posledica nove teritorijalne organizacije, tj. formiranja gradskih opština 1952. godine, sud je juna 1966. godine promenio naziv u Drugi opštinski sud u Beogradu. Tada je njegova nadleznost obuhvatala podrucja opština Savski venac i Cukarica, a opština Rakovica ponovo je prešla u nadleznost ovog suda decembra 1974. godine.
Od završetka izgradnje zgrade Palate pravde 1974. godine, sedište Drugog opštinskog suda u Beogradu nalazi se u ul. Savska br. 17a, nekadašnja ul. Slobodana Penezica – Krcuna.