Анатолий Рыбалко родился в Ленинграде. Закончил Музыкальное училище им. Н.А.Римского-Корсакова и Петербургскую консерваторию по специальностям «хоровое дирижирование» (класс Е.Кудрявцевой) и «оперно-симфоническое дирижирование» (класс Р.Мартынова). Лауреат I Bсероссийского конкурса хоровых дирижеров (г. Салават,1995).
С 1996 года А.Рыбалко преподает на дирижерско-хоровом отделении Музыкального училища имени Римского-Корсакова. С 2002 года работает дирижером в Санкт-Петербургском государственном детском музыкальном театре «Зазеркалье», где при его участии состоялись постановки оперных спектаклей «Джанни Скикки», «Директор театра», «От Петербурга до Миргорода» и «Газета, или Брак по объявлению». 
Рыбалко сотрудничает с различными коллективами, в числе которых Заслуженный коллектив России, Академический симфонический оркестр Петербургской филармонии, Санкт-Петербургский государственный академический симфонический оркестр, оркестр Государственного Эрмитажа, оркестр Государственной академической Капеллы. С 2006 года выступает в абонементных концертах Большого зала Санкт-Петербургской академической филармонии имени Д.Д.Шостаковича.
В 2007-2008 годах работал в Театре оперы и балета Санкт-Петербургской государственной консерватории. Под его управлением прошли два премьерных спектакля - возобновление балета «Жизель» и премьера спектакля «Вечер хореографических миниатюр».
В 2008 году А.Рыбалко стал приглашенным дирижером Михайловского театра. Осуществил постановку балета «Корсар» и участвовал как дирижер-ассистент в работе над спектаклями «Ромео и Джульетта» С.Прокофьева, «Паяцы» Р.Леонкавалло, «Летучий голландец» Р.Вагнера и «Евгений Онегин» П.И.Чайковского. Дважды принимал участие в гастролях Михайловского театра по городам Японии. 

В декабре 2011 года А.Рыбалко стал дирижером Государственного симфонического оркестра Санкт-Петербурга. В этом же году начал преподавать на кафедре оперно-симфонического дирижирования Санкт-Петербургской консерватории.
С начала сезона 2013/2014 и по настоящее время - художественный руководитель и главный дирижер Симфонического оркестра Карельской государственной филармонии. Под его руководством Симфонический оркестр Карельской филармонии совершил многочисленные зарубежные гастрольные поездки. Является непременным участником ежегодных фестивалей классической музыки, проводимых на территории республики Карелия - «Онего-Классик» и "Ruckeala  Symphony".