Bahçenin ve içindeki binanın yapılış tarihi 13. yüzyıla kadar gidiyor. Bu dönemde İlhanlılar veya yerel Kaşkayi kabile reisleri tarafından yapıldığı tahmin ediliyor. Daha sonraları çeşitli dönemlerde çeşitli ekler ve genişletmeler yapılmıştır.
Binanın dışındaki süslemeler ve tablolar Üstad Muhammed Hassan tarafından yapılmış. Duvarlardaki panellerde Şair Hafız‘ın beyitleri işlenmiş durumda. Zend ve Kacar dönemlerinde de bina onarım görüp düzenlenmiş. Binanın çevresindeki bahçe daha çok yeşillendirilmiş. Binanın şu anki durumunda bahçeye tamamen hakim bir salon ve aynalarla süslenmiş odalar gezilebilir.
Bahçedeki kameriyeler lavanta çiçekleriyle donatılmış. Gezinti yolları üstün bir estetik anlayışıyla ve geleneksel bahçe mimarisine uygun olarak yapılmış. Buradaki çok çeşitli bitkiler arasında en ünlüsü sadece Şiraz’da yetişen bir tür servi ağacı olan (Sarv-e Naaz) dır. Bu isim bizde Servinaz biçiminde kadın ismi olarak kullanılıyor.
İrem Bağları, İrandaki öteki 9 bahçe ile birlikte UNESCO Dünya Kültür Mirası Listesindedir.
