Фашисты оккупировали Полтаву 18 сентября 1941 года. 23 ноября они собрали всех полтавских евреев, более 3 тысяч человек, и увели за город. Для начала у всех отняли одежду, обувь, все ценности. Разбив на группы, их отводили к стрельбищу – здесь когда-то дислоцировался 73 полк Красной Армии. Расстрел длился всю ночь. На детей пули не тратили, им смазывали губы ядом. Грудных младенцев вообще сбрасывали в яр живыми. Рядом с евреями умирали их мужья, жены, родные и близкие других национальностей. К утру все засыпали землей. Спастись не удалось почти никому.
На этом фашисты не успокоились. За последующие годы в этом месте было расстреляно еще около 6 тысяч человек, преимущественно еврейской национальности. Всего за годы оккупации в Полтаве было сожжено, расстреляно, повешено и зарыто живьем 18200 человек, из них половина – евреи. В Полтавском Бабьем яру покоятся останки 10 тысяч человек.
Памятник на братской могиле появился лишь в 1970 году. К этому времени некогда удаленное от города место оказалось практически в центре города. Рядом с захоронением, на прилегающей окраине, к тому времени возникло еще два кладбища – Старое и Новое. После войны на месте братской могилы воинов был поставлен временный памятник, а на месте расстрела евреев насыпали курган, на него поставили деревянную пирамидку со звездой.
Никакого специального постановления на установку памятника не было, его воздвигли заодно с мемориальным комплексом Солдатской Славы, воинским захоронением. В то время «еврейский вопрос» считался несуществующим, и о том, что в могиле покоятся евреи, написать не было возможным. Так что на памятнике стоит короткая фраза: «Память про вас в наших сердцах».
На настоящий момент поисковой группой установлено более 300 имен погибших.