По словам Каллагана, он пытался выполнять роль посредника: Фицджеральд хотел встречи с Хемингуэем, тот отказывался и требовал не сообщать его адрес (вообще-то адрес был не новый, и его знала тьма народу); Скотт якобы говорил Каллагану, как он хочет дружить с Эрнестом, а Эрнест Скотта только бранил. Встреча, которой избегал Хемингуэй, всё же состоялась — в спортзале. Каллаган был неплохим боксером, а Фицджеральд получил приглашение (от кого — неясно) быть секундантом в одном из поединков Каллагана с Хемингуэем. По рассказу Каллагана, Хемингуэй был им бит, после чего стал плевать ему в лицо кровью из разбитого рта, объясняя свой поступок тем, что так принято у матадоров; Фицджеральд задержался с сигналом об окончании раунда, и Каллаган отправил Хемингуэя в нокдаун, а тот заявил Фицджеральду: «если ты хотел посмотреть, как из меня выбивают дерьмо, можешь быть доволен», — и ушел. Фицджеральд, по словам Каллагана, был в отчаянии и никогда не оправился от чувства вины. История в общих чертах правдивая, ее подтверждают все участники, но пустяковая; однако в ноябре она, сильно перевранная, попала в «Нью-Йорк геральд трибюн» — как считается, стараниями журналистки Кэролайн Бэнкрофт. Каллаган был тогда в Штатах, авторство приписали ему; он послал в газету опровержение, а Перкинсу поклялся, что рассказал об инциденте «всего трем людям» и понятия не имеет, кто написал заметку. И Хемингуэй и Фицджеральд этому, видимо, не поверили, так как оба потом отзывались о Каллагане как о сплетнике.

О бое с Каллаганом Хемингуэй рассказал дважды: в письме Перкинсу в августе 1929-го и в письме Артуру Майзенеру, биографу Фицджеральда, в 1951 году. В обоих отчетах нет обиды на Фицджеральда. Но в них нет и победы Каллагана, а во второй версии утверждается, что Хемингуэй легко мог побить Каллагана, да пожалел. К 1951 году Хемингуэй обладал всемирной славой, побывал на двух войнах, охотился на львов; зачем нужно было доказывать, что он еще и великий боксер? Может быть, он еще в юности загнал себя в ловушку, рассказывая сказки об успехах в этом спорте, и потом не мог отступить? Однако в биографии боксера Джека Демпси рассказывается, как он в 1920-х в Париже проводил спарринги со знаменитостями — Дугласом Фэрбенксом, певцом Элом Джонсоном, но не согласился — с Хемингуэем. Биограф Роджер Кан приводит слова Демпси: «Ему было лет 25 и он был в неплохой форме. Я был уверен, что он действительно считает себя боксером и что он вылетит из своего угла как бешеный. Чтобы остановить его, мне пришлось бы его травмировать, а я этого не хотел». Так что Хемингуэй не обманывал других — он убедил сам себя.

В его жизни будет много эпизодов, связанных с боксом (они войдут в книгу Джорджа Плимптона «Писатели на ринге»): в 1948 году на Кубе он пожелает драться с боксером Хью Кейси, тот во время боя уклонится, и хозяин упадет, наткнувшись на стол; другой знаменитый тяжеловес, Джин Тьюни, раздраженный тем, что Хемингуэй всерьез пытается на него нападать, ответит ударом в голову, но в последнюю долю секунды отклонит удар и потом скажет, что его противник «был близок к тому, чтоб унести свою голову в руках» и должен благодарить его за милосердие. Так что неправ был Эл Хиршфельд, утверждая, что Хемингуэй всегда выбирал партнеров меньше и слабее себя.

История с поединком не сказалась на отношениях Хемингуэя и Фицджеральда: обменивались письмами, Хемингуэй дал коллеге прочесть «Прощай, оружие!» — а вот это, возможно, сказалось. По Каллагану, Фицджеральд восторгался романом, а когда сам Каллаган и Зельда книгу ругали, не сумел ее защитить и лишь пожал плечами; Каллаган старался подчеркнуть, какой Фицджеральд наивный и беспомощный.