レニングラード音楽院の管弦楽指揮科（イリヤ・ムーシン教授に師事）で学ぶ。在学中の23 歳の時に、ベルリンのカラヤン指揮者コンクールで1 位なしの2位に入賞。キーロフ劇場（現マリインスキー劇場）に指揮者として招かれた。そして35歳の若さでキーロフ劇場オペラ・カンパニーの芸術監督に就任。1996年からはマリインスキー劇場の芸術監督と総裁を兼任している。
マリインスキー劇場において、ゲルギエフは数多くの世界的な名歌手を育成し、音楽界に送り出している。また彼の采配の下で、同劇場はレパートリーを大きく広げ、現在は18世紀から20世紀のクラシックの傑作から現代作品まで幅広く網羅している。
彼はまた、ロッテルダム・フィルハーモニー・ゲルギエフ音楽祭（オランダ）、モスクワ復活祭音楽祭、「白夜の星」音楽祭（サンクトペテルブルグ）など、数多くの国際音楽祭の創設者であり、また、それらの芸術監督、音楽監督をつとめている。
2006年には、ゲルギエフの尽力によって、マリインスキー・コンサート・ホールが完成。この新ホールは、卓越した音響を有することで注目を集め、劇場とオーケストラのプログラムを広げるのみならず、マリインスキー・レーベルの作品収録の場にもなっている。また15年からはミュンヘン・フィルハーモニー管弦楽団の首席指揮者をつとめている。
07年～15年までは、ロンドン交響楽団の首席指揮者をつとめたほか、近年はメトロポリタン・オペラ、ウィーン・フィルハーモニー管弦楽団、ミラノ・スカラ座管弦楽団、ニューヨーク・フィルハーモニック、ロッテルダム・フィルハーモニー管弦楽団等と共演している。
ゲルギエフは、音楽や社会への功績により、数多くの賞や勲章（称号）を授与されている。最近では、才能ある若手音楽家の育成に貢献したことにより、ヨーロッパ・グラスヒュッテ・オリジナル賞（ドレスデン音楽祭賞）を受賞した。11年には、エジンバラ国際フェスティバルの名誉総裁に就任し、同年11月、フランスの権威ある音楽雑誌「クラシカ」より「年間最優秀アーティスト」に選ばれた。
PMFには、首席指揮者として04年と06年に参加している。15年から6代目のPMF芸術監督をつとめ、6シーズン目となる。