В слободе Николаевка, из которой потом вырастет Алексеевка, каменный храм Святителя Димитрия построили в 1813 году. Церковь назвали во имя богослова, духовного писателя, автора «Четьих миней» ― жизнеописаний святых. Хотя в 1930-е годы ее закрыли, в годы войны службы здесь возобновились. А в середине 1990-х храм отреставрировали.