Директор Федеральной службы безопасности
После распада СССР Ковалев курировал следственное управление и управление экономической контрразведки. В 1996 году президент Борис Ельцин подписал указ о его назначении директором Федеральной службы. Он сменил на этом посту Михаила Барсукова.
Тогда же произошла реорганизация ведомства: были образованы новые департаменты, в том числе контрразведки и борьбы с терроризмом. Кроме того, появилось новое подразделение — управление разработки и пресечения деятельности преступных организаций, которая пресекала деятельность криминальных групп.
При Ковалеве за короткий срок спецслужбы 11 иностранных и 28 российских агентов - рекордное количество со времен Второй мировой войны.
Парламентская деятельность
С 1999 года генерал армии начал парламентскую деятельность. Он был избран депутатом Государственной думы РФ III созыва. В Думе был членом фракции "Отечество - Вся Россия". Занимал пост заместителя председателя комитета по безопасности.
В 2003-2007 годах был депутатом Госдумы от партии "Единая Россия". Трудился на посту председателя комитета по делам ветеранов. В 2007-2011 годах вновь возглавлял комитет нижней палаты парламента по делам ветеранов.
Кроме того, с 2000 по 2011 год был представителем от Госдумы в Постоянной делегации Федерального собрания РФ в ПАСЕ. В июле 2017 года назначен на пост заместителя председателя комитета ПАСЕ ОБСЕ по противодействию терроризму.
С 2012 года был председателем комиссии Госдумы по контролю за достоверностью сведений о доходах, имуществе и обязательствах имущественного характера, представляемых депутатами.
С 2016 года Ковалев занял пост заместителя председателя комиссии ГД по правовому обеспечению развития организаций ОПК РФ.
Он награжден орденами Красной Звезды, "За военные заслуги", "За заслуги перед Отечеством" IV и III степеней. В 2010 году награжден почетной грамотой президента России.