Серб перебрался на «Стэмфорд Бридж» из московского «Локомотива» летом 2008 года. Сумма сделки составила порядка €15 миллионов евро. Впоследствии универсальный защитник боролся за право выступать в основном составе в течении целого года, пока не закрепился в старте при Гуусе Хиддинке в 2009 году.
Дубль в ворота «Ливерпуля» в Лиге чемпионов (2008/2009) считается одним из самых эффектных выступлений Бранислава за всю его карьеру в «Челси». Эти 2 мяча и стали определяющими в двухматчевом противостоянии плей-офф турнира.
В сезоне 2009/2010 Иванович выступал как на правом фланге защиты, так и в центре обороны, чем помог «синим» одержать победу в Премьер-лиге и выиграть Кубок Англии. В последующих сезонах место Бранислава в основном составе не подвергалось никаким сомнениям, и в 2012 году сербский оборонец стал частью мюнхенского триумфа, когда «Челси» выиграл Лигу чемпионов.
