Владение на этом берегу Москвы-реки овеяно легендами, не имеющими прочной исторической основы: называются имена боярина Ивана Никитича Берсеня-Беклемишева и даже знаменитого опричника Малюты Скуратова. Считается, что деревянный дом с каменным подклетом существовал здесь уже в XV-XVI веках – его следы были найдены реставраторами. Тем не менее, ясность в вопросе о владельцах наблюдается лишь с начала XVII века, когда земля переходит к сыновьям Степана Кириллова.
В середине того же столетия единоличным хозяином территории становится думный дьяк Аверкий Кириллов – богатый купец и государственный деятель. На пике своей карьеры он возглавлял Казённый приказ, приказ Большого дворца и ряд других учреждений, ведавших торговлей, финансами государства и сбором налогов. Деятельность Аверкия Кириллова оборвалась в 1682 году, когда во время стрелецкого бунта стрельцы, поддерживающие царевну Софью, убили его как сторонника рода Нарышкиных.
Общественное положение Аверкия Кириллова не могло не отразиться на облике его дома. В результате каменные палаты были выстроены с большим размахом: пышные наличники, изящные полуколонны и пилястры, карнизы с поребриком – всё это свидетельство о высоком благосостоянии хозяев. Богатство дома ярко описывали иностранные гости, дивившиеся не только красивым фасадом и впечатляющим двором с садом, но и богатым убранством с дорогой мебелью и обстановкой. О времени постройки дома можно судить по круглой плите в центре свода большой палаты – закладному камню с датой «1657».
Соседняя церковь святой Троицы, более известная под названием Никольской на Берсеневке, также была выстроена Кирилловым, считалась его домовым храмом и даже соединялась деревянным переходом непосредственно с палатами. Здесь же в 1682 году был похоронен и сам Аверкий Кириллов. Церковь, лишившаяся в ХХ веке колокольни, сохранилась до наших дней и находится совсем рядом.
Окончательно облик здания сформировался в начале XVIII века в 1703—1711 годах, когда владение принадлежало дьяку А.Ф. Курбатову. В это время был выстроен верхний этаж, ранее бывший деревянным, а фасад получил европейские детали: волюты с тонкой белокаменной резьбой, руст на углах и каменный козырёк над входом. По одной из версий, достройкой дома ведал архитектор Иван Зарудный.
В дальнейшем палаты Аверкия Кириллова перешли в казну и были заняты различными учреждениями: камер-коллегией, межевой канцелярией, разрядным архивом, московской казённой палатой, сенатской курьерской командой. Во второй половине 1860-х годов архитектор А. П. Попов осуществил некоторую перестройку и приспособление палат для размещения Московского археологического общества, которое находилось здесь в 1868—1923 годах. С 1941 года здание занимает Российский институт культурологии.