W maju 1903 roku, dla Ułańskiego Pułku Lejbgwardii, u zbiegu ulic Czerniakowskiej i Agrykoli, wzniesiono cerkiew pułkową. Projekt jedno kopułowej świątyni w stylu nowogrodzkim wykonał architekt Benoit. Pracami budowlanymi kierował inżynier Fedders. Cerkiew wyświęcono 4 listopada 1906 roku. Na jej budowę skarb państwa wyasygnował 70 tysięcy rubli, a 6 tysięcy zebrano z ofiar wiernych. Cerkiew mieściła 800 osób. Bryłę świątyni wieńczyła ośmioboczna kopuła. Dach pokryto czerwoną dachówką. Ściany obłożone zostały jasnożółtą cegłą z ozdobną ornamentyką. Ikony w dwurzędowym, dębowym ikonostasie napisał malarz Karelin. Ściany i sklepienia pokryto freskami Harłamowa. W cerkwi umieszczono, zdobytą w bitwie z Francuzami pod Krasnem w 1812 roku, ikonę patrona w srebrnej ryzie. Naprzeciwko cerkwi wybudowano niewielką, wolno stojącą dzwonnicę. W 1918 roku świątynię przejęli katolicy. Niezwłocznie rozebrano dzwonnicę i kopułę, a na jej miejscu ustawiono łaciński krzyż. Od 1945 roku w cerkwi mieści się kościół Świętego Ducha, który jest katedrą Polskiego Kościoła Narodowego.