Dio lần đầu tiên nổi bật trong làng nhạc vào năm 1975 khi ông gia nhập Rainbow, nhóm nhạc do cựu nghệ sĩ guitar của Deep Purple – Ritchie Blackmore – dẫn dắt. “Dio có một giọng ca độc đáo và tuyệt vời. Ông sẽ được nhớ đến nhiều trong làng nhạc rock & roll”, Blackmore nói.

Dio chuyển sang Black Sabbath, ban nhạc hàng đầu của dòng heavy metal, sau khi Osbourne bị đuổi vào năm 1979. Ông thu âm 3 album với ban nhạc này trước khi từ bỏ. Ca sĩ rock này đã thành lập ban nhạc riêng vào năm 1982 với cựu nghệ sĩ trống của Black Sabbath – Vinny Appice. Ban nhạc này gặt hái thành công vào năm sau đó với album và ca khúc Holy Diver. Nhóm nhạc này đã tung ra 10 album phòng thu trong khi đội hình liên tục thay đổi cho đến năm 2004.

Dio từng có một thời gian ngắn hợp tác cùng các thành viên còn lại của Black Sabbath để thu âm album Dehumanizer (1992) nhưng sản phẩm này đã khiến ban nhạc mất đi gần hết người hâm mộ. Năm 2006, Dio tái hợp với Iommi, Appice và nhà soạn ca từ kiêm nghệ sĩ guitar của Black Sabbath là Geezer Butler và lấy tên là Heaven & Hell – tên album đầu tiên mà Dio thu âm với Black Sabbath. Heaven & Hell đã thực hiện lưu diễn và tung ra một album phòng thu hồi năm ngoái.