Historie Hotelu Pivoňka sahá až do 13. století – tehdy byla lokátorem vytyčena stavební parcela, na níž ve 14. století vyrostla gotická, z větší části srubová stavba, přiléhající k hradbám města. Dnešní podoba domu vznikla v 16. století, kdy bylo dostavěno loubí, které bylo společně s průčelím vyzdobeno iluzivním režným zdivem – v té době šlo v této oblasti o něco mimořádného. Na konci 17. století byl původně renesanční štít nahrazen raně barokním s volutami.
V roce 1750 zasáhl Slavonice velký požár, jenž se pravděpodobně nevyhnul ani budově dnešního Hotelu Pivoňka. Poté byla snížena zadní část domu, jež byla zastřešena sedlovou střechou. Při restaurátorských pracích, které byly ve Slavonicích zahájeny v 50. letech minulého století, byla pod omítkou průčelí odhalena renesanční iluzivní malba, kterou se v roce 1973 podařilo obnovit restaurátorům Buštíkovi a Křičkovi, avšak v 90. letech bohužel došlo k jejímu zničení a na fasádě zůstaly jen fragmenty. Současný vlastník má ambici fasádu obnovit ve spolupráci s památkáři.
Budova Hotelu Pivoňka se dnes pyšní množstvím památkově chráněných stavebních prvků, jako jsou kamenná ostění na průčelí a kamenný vstupní gotický portál z konce 15. století, průčelí s fragmenty pozdní gotické a renesanční malby, západní fasáda s dvojicí krakorců (kamenné nosné články) ze 16. století či kamenická výzdoba štítu z konce 17. století.