En 1960, il crée la polémique en épousant l'actrice d'origine suédoise May Britt, dans une Amérique encore profondément ségrégationniste. Les mariages interraciaux sont alors interdits par la loi dans 31 Etats, des lois abolies par la Cour Suprême américaine en 1967. May Britt donne naissance à une fille et le couple adopte deux autres enfants. Sammy, qui enchaîne les spectacles, passe peu de temps avec sa femme. Il avoue également entretenir une relation avec la chanteuse Lola Falana (sa partenaire dans Golden Boy), ce qui précipite le divorce du couple prononcé en 1968.
/http%3A%2F%2Fnsa33.casimages.com%2Fimg%2F2015%2F02%2F09%2F150209020655749458.jpg)
/http%3A%2F%2Fnsa33.casimages.com%2Fimg%2F2015%2F02%2F09%2F150209015646782511.jpg)
/http%3A%2F%2Fnsa33.casimages.com%2Fimg%2F2014%2F10%2F11%2F141011082419773599.jpg)
/http%3A%2F%2Fnsa33.casimages.com%2Fimg%2F2015%2F02%2F08%2F150208054012867374.jpg)