Граф Олсуфьев был генералом от кавалерии и серьезно увлекался филологией — в его кабинете с традиционным для особняка деревянным потолком сейчас находится экспозиция литографий и гравюр, посвященных интересам хозяина.