Подобные павильоны, название которых по-французски означает «хижина отшельника», получили широкое распространение в регулярных садах XVIII века.

Они предназначались для отдыха и обедов владельца усадьбы в узком кругу избранных и помещались в дикой части парка. Для того чтобы общению хозяев и гостей не мешало присутствие прислуги, в таких павильонах обычно устанавливались механизмы, приводившие в движение подъемные столы.

В ходе реставрационных работ 2005–2006 годов канал вокруг Эрмитажа был восстановлен на основе планов, составленных В. И. Нееловым, материалов археологических исследований и рисунка М. И. Махаева. Уникальное для парковой архитектуры «фортификационное» сооружение вновь обрело исторический облик и необычную отделку из валунов и известняковых блоков.

Павильон «Эрмитаж» не перестраивался с середины XVIII века, поэтому его внутренняя отделка дошла до нашего времени почти без изменений. Центральный прямоугольный зал павильона связан расходящимися от него по диагоналям галереями с четырьмя квадратными в плане кабинетами. Интересна отделка главного зала Эрмитажа, созданная Ф.-Б. Растрелли. Благодаря широким окнам, служившим одновременно дверями для выхода на балконы, зал был пронизан светом. В простенках между окнами размещались зеркала в резных золоченых рамах, переходящих в обрамления живописных десюдепортов. Прежде в зале находились обеденные столы с подъемными механизмами. Назначение интерьера подсказало сюжет плафона, написанного Д. Валериани: «Юнона и Юпитер приглашают небожителей к накрытому и уставленному роскошной посудой столу». Сюжеты для живописных панно над зеркалами среднего зала Д. Валериани заимствовал из «Метаморфоз» Овидия: «Вакх и Ариадна», «Аполлон, преследующий Дафну», «Вакх, венчающий Дафну звездной короной» и «Похищение Европы».

Плафоны галерей, соединяющих средний зал с кабинетами, написал А. Перезинотти. По содержанию они перекликались с барельефами на фасадах Эрмитажа и изображали амуров с аллегорическими атрибутами времен года.