出産のためパートをやめたはずのですが

育児休業給付金が支給されて自分が退職していないということに気づきました。失業保険の手続きだと思い労務士さんから言われた通りに書類を出しました。で、突然育児休業給付金が振り込まれるという通知で事業主がまだ私が復帰すると思われていることに気づきました。
私は復帰するつもりはありません。
給付金を返還して退職という手続きはできますか？