Die Geschichte des Hotels Pivoňka reicht bis ins 13. Jahrhundert zurück - damals wurde ein Bauplatz durch einen Lokator abgesteckt, auf dem im 14. Jahrhundert ein gotisches, meist aus Holz gebautes Gebäude an der Stadtmauer errichtet wurde. Das heutige Aussehen des Hauses entstand im 16. Jahrhundert, als die Arkade fertiggestellt wurde und zusammen mit der Fassade mit einem Sichtmauerwerk verziert wurde, was in dieser Gegend zu jener Zeit außergewöhnlich war. Ende des 17. Jahrhunderts wurde der ursprüngliche Renaissancegiebel durch einen frühbarocken Giebel mit Voluten ersetzt.
Im Jahr 1750 wurde Slavonice von einem großen Brand heimgesucht, der wahrscheinlich auch den Bau des heutigen Hotels Pivoňka nicht verschonte. Dann wurde der hintere Teil des Hauses abgesenkt und mit einem Giebeldach versehen. Bei den in den 1950er Jahren begonnenen Restaurierungsarbeiten in Slavonice wurde unter dem Putz der Fassade eine Illusionsmalerei aus der Renaissance entdeckt, die 1973 von den Restauratoren Buštík und Křička restauriert wurde, aber leider in den 1990er Jahren zerstört wurde und nur noch Fragmente an der Fassade erhalten blieben. Der jetzige Eigentümer hat den Ehrgeiz, die Fassade in Zusammenarbeit mit den Denkmalschützern zu restaurieren.
Das Gebäude des Hotels Pivoňka weist heute eine Reihe denkmalgeschützter Bauelemente auf, wie die Steinumrahmung der Front und das steinerne gotische Eingangsportal vom Ende des 15. Jahrhunderts, die Fassade mit Fragmenten spätgotischer und Renaissance-Malerei, die Westfassade mit einem Paar Kragsteinen (steinerne Stützelemente) aus dem 16. Jahrhundert oder die steinerne Verzierung des Giebels vom Ende des 17. Jahrhunderts.