Друга београдска гимназија, данас Филолошка гимназија, основана је 11. августа 1870. године под називом Палилулска полугимназија. Назив се мења у Друга нижа гимназија београдска (1875–1887), односно Друга београдска гимназија (1887–1898). Школа је заједно са именом мењала и локације на којима се налазила. Палилулска полугимназија је почела са радом 1870. године у старој згради Трговачке академије, власништву породице Јање Ђорђевића, у данашњој Светогорској улици. Већ следеће школске године ова школа се пресељава у Скопљанску улицу, у кућу Јована Ђорђевића, да би се убрзо вратила у Светогорску улицу, али сада у зграду Живојина Блазнавца. Од 1897. године налазила се у Булевару краља Александра, а између Влајковићеве и плаца на коме се налази Скупштина, поред Панђелине зграде. Године 1910, пресељена је у новоподигнуту зграду у Македонској улици, где је остала до 1941. године. Зграда је тада оштећена за време априлског бомбардовања, а школа пресељена у зграду Реалке у Узун Мирковој. После Другог светског рата школа је пола године радила у просторијама Прве женске гимназије код Ташмајдана, а затим у Трећој мушкој у Његошевој. Зграда у Македонској је делимично обновљена и гимназија се вратила у своју кућу септембра 1947. године, али је срушена 1961. године и на њеном месту је подигнут солитер „Политике“. То је поново довело до серије сеоба гимназије. Једно време се налазила у згради Пете београдске гимназије на Ташмајдану (1961—1964), потом у згради средње електротехничке школе „Никола Тесла“ у Улици народног фронта (1964—1965), да би се на крају преселила у зграду Основне школе „Борис Кидрич” у Каменичкој 2, на Зеленом венцу. Од 1977. године, постаје средња школа у којој су се образовали кадрови друштвеног усмерења преводилачке и музејско-архивске струке. Осамдесетих година имала је два назива: Школа за образовање кадрова преводилачке струке „Иво Лола Рибар" и Језичка школа „Друга београдска гимназија Иво Лола Рибар" нова су имена. Године 1988. Просветни Савет СР Србије и ГСИЗ усмереног образовања Београда одлучују да оснују Филолошку гимназију. Друга београдска гимназија је одабрана као експериментална школа. Експеримент је требало да траје осам година, међутим, 1991. школа добија назив Филолошка гимназија, када је и број језика са уобичајена четири (енглески, немачки, француски, руски) проширен додавањем класичних језика, шпанског, италијанског, кинеског, норвешког, јапанског. Ова школа је, од стране Владе републике Србије, 10. маја 2007. проглашена за школу од посебног националног значаја, поред Математичке, Прве крагујевачке гимназије и Гимназије у Карловцима.