Корж был направлен на конкурс авторской песни в город Харьков, где он стал лауреатом, исполнив свою песню «Курсантские погоны». Вернувшись, домой Анатолий идет работать на Черноморский судостроительный завод, туда, где трудились его родные. И, несмотря на то, что работа отнимала практически все свободное время, Анатолий продолжал писать песни, мечтая о большой сцене. Это уже было ему необходимо, как воздух и вода. Анатолий увольняется с завода и в 2004 году записывает свой первый сольный альбом «Город мой», который сразу же находит своего слушателя и поклонников. На сегодняшний день это состоявшийся автор – исполнитель, покоривший своими песнями сердца многих почитателей шансона. С виду он скромный молодой человек, который, выходя на сцену, сразу подкупает своей искренностью, непосредственностью, как бы говоря: "Не судите строго, просто послушайте. Я дарю Вам частицу своей души". Его приятный голос, обаятельная внешность, доходчивый текст и запоминающаяся мелодия песен написанных им самим - заставляет слушателей верить ему, и как результат - теплый прием зрительской аудитории.