Личная жизнь Барнета протекала столь же бурно, как и творческая. Его второй женой (с первой он развелся в конце 20-х) была актриса Елена Кузьмина. Свою первую роль в кино она сыграла в 1928 году, когда училась на последнем курсе ФЭКСа, – это был фильм «Новый Вавилон». Ей тогда было всего 19 лет. Тогда ее и увидел Барнет. Их знакомство вскоре закончилось свадьбой и рождением дочери Наташи. В «Окраине» Кузьмина уже играла главную роль – Маньку. В фильме «У самого синего моря» она вновь была ведущей – сыграла рыбачку Машу.

Между тем в 1935 году Барнету присвоили звание заслуженного артиста РСФСР, и он уже по праву считался одним из талантливых молодых режиссеров советского кино. Ему прочили блестящее будущее, и он был вполне удовлетворен своим личным и творческим благосостоянием. И вдруг, в 1936 году, его семейная жизнь расстроилась. И виной всему оказался не менее известный режиссер кино Михаил Ромм, который пригласил Кузьмину на главную роль в свой фильм «Тринадцать». Съемки проходили вдалеке от Москвы – в пустыне под Ашхабадом. Именно там между актрисой и режиссером и вспыхнул внезапный роман. Свидетелем этого была вся съемочная группа, и кто-то из доброжелателей тут же дал знать об этом Барнету в Москву.

Когда весть достигла адресата, Барнет буквально взорвался. Как мы помним, в прошлом он был прекрасным боксером и проигрывать не умел. Поэтому он решил во что бы то ни стало поговорить с Роммом по-мужски и отправился в пустыню, к месту съемок. Как рассказывает В. Вульф, перед этой важной встречей Барнет так разволновался, что решил для храбрости поддать. Однако он не учел одного обстоятельства: после того как на съемках фильма произошел скандал с актером Николаем Крючковым (он систематически пьянствовал), было принято решение все спиртное в съемочной группе уничтожить. Столкнувшись с этой проблемой, Барнет в конце концов не нашел ничего лучшего, как влить в себя флакон одеколона «Сирень». И только после этого отправился к Ромму.

Между тем с Роммом, который в отличие от Барнета не был ни боксером, ни вообще активным физкультурником, происходили не менее сильные переживания. Он знал, что на съемки приехал разъяренный муж Кузьминой и что встречи с ним ему не миновать. Поэтому он тоже решил залить свои переживания спиртным. Естественно, ничего не нашел и выпил полфлакона одеколона, но другой марки.

Однако встреча двух знаменитых режиссеров, как это ни странно, прошла вполне мирно. Как ни старались завистники, но никакого скандала не произошло. Барнет внезапно простил своего обидчика и отпустил жену на все четыре стороны. Дочь Наташа ушла вместе с матерью. Как гласит одна из легенд, однажды Барнет пришел в дом своего обидчика, чтобы навестить свою дочь. А та внезапно сказала: «А моего папы нет дома». Оскорбленный Барнет пулей выбежал из дома и с тех пор предпочитал встречаться с дочерью вне стен этой квартиры.

После развода с Кузьминой наш герой был женат еще два раза, причем оба раза на актрисах. Его третьей женой стала театральная артистка Валентина N (в дальнейшем она стала женой режиссера Г. Козинцева). Послушаем ее рассказ о Б. Барнете:

«Борис Васильевич знал меня с детства, поэтому относился ко мне и как к жене, и как к ребенку. Он говорил: „Как удобно стало ходить с тобой под руку, а не водить тебя за ручку“. В Москве мы жили в крохотной комнатушке, но там собирался весь цвет литературы. И Катаев, и Светлов, и Олеша – все крутились в этой комнате. У нас была необыкновенная дружба, но как муж он был невыносим. Его любили все – женщины, мужчины, дети, собаки, кошки, птицы – все. И он любил всех…»

Четвертой женой Барнета была актриса Театра имени Вахтангова Алла Казарновская.