Il est titulaire d’un baccalauréat ès sciences en économie agricole de l’Université de la Colombie-Britannique, à Vancouver, décerné en 1991. Sa maîtrise ès sciences, également en économie agricole, a été décernée en 1993 par la même université.

À la fin de ses études universitaires, Gatete a travaillé au Canada comme économiste entre 1991 et 1997, puis a travaillé comme économiste national au Programme des Nations Unies pour le développement au Rwanda jusqu’en 2000.

En octobre 2001, Gatete a rejoint le bureau du président en tant que représentant personnel du président au Comité directeur du NEPAD. Il a été simultanément Coordonnateur du Mécanisme national africain d’examen par les pairs (MAEP) et Membre du Forum du Partenariat africain (FPA) du NEPAD jusqu’en novembre 2003.

Pendant deux ans, de novembre 2003 à novembre 2005, il a été secrétaire au Trésor au ministère des Finances et de la Planification économique.

De novembre 2005 à décembre 2009, Gatete a été ambassadeur du Rwanda au Royaume-Uni, en Irlande et en Islande, avant de rejoindre la Banque nationale du Rwanda en tant que gouverneur adjoint. Il a ensuite été gouverneur de la Banque nationale du Rwanda à partir de mai 2011, avant d’être nommé ministre des Finances.

Il a été nommé ministre de l’Infrastructure en avril 2018, en remplacement de James Musoni. Il a été remplacé au poste de ministre des Finances du Rwanda par Uzziel Ndagijimana.