W średniowieczu istniał zwyczaj, że we wnękach wież bramnych, nad bramą, umieszczano święte obrazy. Wilno pierwotnie miało osiem bram miejskich, w tym Brama Miednicka (od drogi prowadzącej do Miednik). Brama ta nazywała się też Ostrą, od nazwy części południowego przedmieścia, które nazywało się Ostry Koniec. Masywna, kwadratowa wieża bramna, wzniesiona wraz z obwodem murów obronnych na pocz. XVI w. jest wymieniona w przywileju wydanym mieszczanom wileńskim przez króla Aleksandra Jagiellończyka 6 września 1503.
Bramę zbudowano w stylu późnogotyckim między 1503 a 1514. Była to budowla wzniesiona na planie niemal kwadratu (11,2x10,8 m) o grubości murów dochodzącej do 2 m. W przyziemiu umieszczono sklepiony krzyżowo przelot bramny otwarty na północ i południe otworami zamkniętymi łukiem odcinkowym. Wnęka w elewacji południowej jest wyższa i zawiera szczelinę służącą do opuszczania kraty zamykającej dodatkowo wejście. Wnętrze bramy jest podzielone stropem na dwie kondygnacje.
Na północnej elewacji Ostrej Bramy znajdowała się pierwotnie nisza. W 1671 lub 1672 staraniem o. Karola od Ducha Świętego dobudowano od strony północnej drewnianą kaplicę. Spłonęła ona w 1711 a już w roku następnym odbudowano ją jako murowaną. Nie wiadomo dokładnie kiedy został umieszczony w niej cudowny wizerunek Matki Boskiej.
W latach 1789-1793 naprzeciwko kaplicy, na potrzeby modlących się, wybudowano klasycystyczną galerię.
W latach 1829-1830 dokonano restauracji kaplicy. Kolejne restauracje miały miejsce w latach 1927-1932 oraz w 1993 przed wizytą Jana Pawła II.
W kaplicy znajduje się pochodzący z XVII wieku obraz Matki Boskiej Ostrobramskiej, Matki Miłosierdzia. Przez wiernych uważany za cudotwórczy. Jego kult ściśle wiąże się z Ostrą Bramą.
Obraz został umieszczony na bramie na początku XVII w. a później przeniesiony do kaplicy, gdzie obecnie się znajduje. Namalowany został na deskach dębowych. Ma wymiary 200 x 165 cm.
Nie jest znany autor obrazu. Niektórzy przypisują jego autorstwo Łukaszowi – artyście krakowskiemu, który namalował podobny obraz w 1624 dla kościoła Bożego Ciała w Krakowie. Według innych pierwowzorem zarówno obrazu krakowskiego jak i wileńskiego był obraz flamandzkiego malarza Martina de Vosa z ok. 1580.
Ok. 1671 wizerunek Matki Miłosierdzia zasłonięty został srebrną, złoconą sukienką.
Od 1849 charakterystyczną ozdobę obrazu stanowi sierp srebrnego półksiężyca z wygrawerowanym napisem wotywnym. Dopełnieniem wizerunku Matki Miłosierdzia są dwie korony nałożone jedna na drugą.
2 lipca 1927 miała miejsce koronacja obrazu w obecności Józefa Piłsudskiego i Ignacego Mościckiego.