Скалы Красные камни представляют собой останцы красно-бурого песчаника. В 1924 году на одном из останцов бакинскими студентами (В. Ингал и Р. Шхиян) был вырезан горельеф «вождя мировой революции» Владимира Ленина. Изображение быстро разрушилось из-за особенностей породы, последствий землетрясения и было заменено металлическим барельефом, который стал одним из первых скульптурных изображений Ленина в СССР. В советские годы на соседнем останце установили скульптуру орла — символа Кавказских Минеральных Вод.
