Gray schloss 1991 sein Filmstudium an der University of Southern California School of Cinematic Arts ab und schrieb das Drehbuch zu seinem ersten Film Little Odessa bei dem er auch Regie führte. Der Film wurde von den Kritikern gelobt und gewann den Silbernen Löwen auf den Internationalen Filmfestspielen von Venedig 1994.

2000 drehte er den von Miramax produzierten Film The Yards - Im Hinterhof der Macht mit Mark Wahlberg und Joaquin Phoenix in den Hauptrollen. Doch der Erfolg blieb dem Film aus. Mit seinem Thriller Helden der Nacht – We Own the Night 2007 gelang ihm ein weitaus grösserer Erfolg, kritisch sowie kommerziell. Ein Jahr später konkurrierte er mit Two Lovers zum dritten Mal erfolglos im Wettbewerb der Internationalen Filmfestspiele von Cannes. 2009 wurde er in die Wettbewerbsjury der 62. Filmfestspiele von Cannes berufen.

Gegenwärtig ist er mit Alexandra Dickson verheiratet, mit der er zwei Kinder hat.