Vier muren zonder dak is alles wat er over is van een klooster dat sinds 1305 behoorde tot een metóchi van het Megístis Lávrasklooster. In dat jaar namen monniken die tot het klooster behoorden, hun toevlucht tot het kerkje om zich te beschermen tegen de aanvallen van de Turken.
De monniken kwamen van het nabij gelegen eilandje Agios Efstrátios (Grieks: Άγιος Ευστράτιος), dat door een chrysobul (decreet) van de Byzantijnse keizer Vasílios de Bulgarendoder in 1021 eigendom geworden was van I.M. Megístis Lávras. Het eilandje kreeg toen de naam 'Eiland van de jongeren', omdat er zoveel jonge monniken verbleven. Het Lávrasklooster bezit nog steeds een groot deel van de grond van het eiland en verhuurt die aan de lokale bevolking.
Panagía Kakaviótissa heeft als feestdag de dinsdag na Pasen, Heldere dinsdag. Op deze dag wordt in het kerkje de Goddelijke liturgie gevierd in aanwezigheid van de ikoon van de Panagía. Bewoners van een naburig dorp, die haar door het jaar bewaren, brengen haar dan naar boven. De laatste monnik van de metóchi, zo vertelt het verhaal, vertrouwde de ikoon in een ver verleden toe aan een herder van het dorp, voordat hij zelf naar de Agion Oros vertrok. De Panagía Kakaviótissa-ikoon is een Παναγία Ρόδον το Αμάραντον-ikoon, de niet-verwelkende Roos.