Ким Кан У дебютировал в 2002 году в фильме Ким Ки Дука "Береговая охрана". Позже актёр сказал, что роль солдата была единственной, которую он мог бы получить без какого-либо предшествующего опыта. После съемок в сериалах "Затаивший дыхание" и "Трёхлистный клевер" Ким заработал себе прозвище "мистер справедливость", потому что он стал известен ролями честных и добросовестных героев.
Первая главная роль Ким Кан У была в фильме Чжон Чжэ Ына "The Aggressives" в 2005 году, где он снимался вместе с Chun Jung Myung.
В 2007 году актёр снялся в фильме Пак Хын Сика "Электричка", который рассказывает историю двух незнакомцев, застрявших на железнодорожном вокзале. Ким был расстроен из-за того, что фильм был выпущен только в десяти кинотеатрах, поэтому он лично продвигал свой проект, беседуя с аудиторией. Несмотря на низкие кассовые сборы, фильм получил похвалу критиков, и Ким выиграл награду в категории "Лучшая мужская роль" на 25-м кинофестивале в Турине.
В этом же году Ким снялся в фильме "Le Grand Chef". Этот фильм занял четвертое место по продажам среди южнокорейских фильмов в 2007 году с тремя миллионами проданных билетов. Фильм рассказывает о двух враждующих шеф-поварах и снят на основе одноименной манхвы. Для роли в этом фильме Ким Кан У пришлось обучаться готовке полтора месяца, также ему пришлось провести десять дней вместе с коровой, так как у него было несколько сцен с ней.
18 июня 2010 года Ким Кан У женился на своей давней подруге Хан Му Ён, которая является старшей сестрой актрисы Хан Хе Чжин. В 2011 году у них родился сын.