А вот что пишет интернет
Над госдачей, на высоте 437 метров над уровнем моря, действительно были сооружены весной 1948 года две смотровые площадки двухъярусного типа (одна над другой): одна для охраны – малая, другая – большая, с ротондой и павильоном для самого И.В. Сталина, где он подолгу сидел осенними ноябрьскими вечерами, укрывшись шинелью. Нижний ярус смотровой площадки, был предназначен для застолий, поэтому имел полузакрытую форму и павильон с подведенным электрокабелем. В павильоне стояла электроплита и маленький однокамерный холодильник «Саратов». На верхнюю площадку, которая находилась на крыше нижней, можно пройти, поднявшись по обычной лестнице. Сейчас до этих площадок уже не добраться, так как в ноябре 2006 года произошел обвал и тропа, по которой можно было добраться до «Ласточкиного гнезда», оказалась засыпанной камнями.
Т.е., то место, куда мы лезли, это смотровая площадка, а "Ласточкино гнездо" называлась вся дача.