Анатолий Рыбалко родился в Ленинграде. Закончил Музыкальное училище им. Н.А.Римского-Корсакова и Петербургскую консерваторию по специальностям «хоровое дирижирование» (класс Е.Кудрявцевой) и «оперно-симфоническое дирижирование» (класс Р.Мартынова). Лауреат I Bсероссийского конкурса хоровых дирижеров (г. Салават,1995).

С 1996 года А.Рыбалко преподает на дирижерско-хоровом отделении Музыкального училища имени Римского-Корсакова. С 2002 года работает дирижером в Санкт-Петербургском государственном детском музыкальном театре «Зазеркалье». Осуществил постановку опер «Джанни Скикки» Дж.Пуччини и «Директор театра» В.-А.Моцарта.

Рыбалко сотрудничает с различными коллективами, в числе которых Заслуженный коллектив России, Академический симфонический оркестр Петербургской филармонии, Санкт-Петербургский государственный академический симфонический оркестр, оркестр Государственного Эрмитажа, оркестр Государственной академической Капеллы. С 2006 года выступает в абонементных концертах Большого зала Санкт-Петербургской академической филармонии имени Д.Д.Шостаковича.

В 2007-2008 годах работал в Театре оперы и балета Санкт-Петербургской государственной консерватории. Под его управлением прошли два премьерных спектакля - возобновление балета «Жизель» и премьера спектакля «Вечер хореографических миниатюр».

В 2008 году А.Рыбалко стал приглашенным дирижером Михайловского театра. Осуществил постановку балета «Корсар» и был дирижером-ассистентом при выпуске спектаклей «Ромео и Джульетта» С.Прокофьева, «Паяцы» Р.Леонкавалло, «Летучий голландец» Р.Вагнера. Дважды принимал участие в гастролях Михайловского театра по городам Японии.

В 2009 году записал саундтрек к фильму «Последнее воскресение» (композитор С.Евтушенко).

В декабре 2011 года А.Рыбалко стал дирижером Государственного симфонического оркестра Санкт-Петербурга. В этом же году начал преподавать на кафедре оперно-симфонического дирижирования Петербургской консерватории.

С начала сезона 2013/2014 гг. Анатолий Рыбалко - художественный руководитель и главный дирижер Симфонического оркестра Карельской государственной филармонии.