Рузвельт был против созыва международного конгресса по вопросу прекращения войны: Америка попала бы на нем в жернова европейского соперничества. Оставалось взять дело организации русско-японских переговоров в свои руки. Рузвельт вел себя крайне осторожно, не использовал даже дипломатическую машину госдепартамента, предпочитая личные связи. Посредниками выступили посол Японии в США Такахира и барон Канеко (с ним Рузвельт учился в Гарварде). В переговорах с русским правительством Рузвельт опирался на помощь кайзера Вильгельма (содействие оказывал старый друг - посол Шпек фон Штернберг) и посла США в России Джорджа Мейера.

Для выдвижения мирной инициативы Рузвельт ждал подходящий момент. Он наступил 31 мая 1905 года. В этот день Рузвельт получил каблограмму от министра иностранных дел Японии Комуры, содержавшую принципиальное согласие на мирную конференцию, процедуру созыва которой предлагалось выработать американскому президенту. Николай II согласился на проведение конференции при условии, что в ее работе не будут участвовать посредники, а требования Японии станут известны заранее. Зная о принципиальном согласии обеих сторон, Рузвельт выступил со «смелым» предложением, а 10 июня 1905 года официально пригласил их за стол переговоров. Лишь спустя много лет стало известно о тайных встречах Рузвельта с японцами и других подготовительных акциях.

Рузвельт хотел бы созвать встречу в Гааге или Женеве, но воюющие стороны предпочли Вашингтон, хотя впоследствии изменили свое мнение в пользу приморского американского города Портсмута. Бесконечные дрязги по поводу места, времени, состава делегаций привели Рузвельта в отчаяние. «Я едва не потерял рассудок, сводя Россию и Японию вместе. Чем больше я узнаю о царе, кайзере и микадо, тем больше проникаюсь симпатией к демократии, если даже включить в число ее столпов американскую прессу». Однако именно для этой прессы многое делалось американскими устроителями конференции. Например, организовано посещение главами делегаций - С. Витте и Р. Розен от России, Комура и Такахира от Японии - стоящего на рейде Ойстер-бей президентского корабля «Мэйфлауэр».

В конфиденциальной переписке Рузвельт не скрывал, что симпатии Соединенных Штатов на японской стороне. «Витте и прежде всего царь должны отчетливо понять, что эта война проиграна, мир должен быть подписан с ясным осознанием того, что японцы - победители» (из письма германскому послу). Николай II ошибался в надеждах, когда просил (через кайзера) Рузвельта изучить предварительно японские предложения и уговорить снять крайние требования.Условия мира, между тем, вырабатывались в борьбе интеллектов и воли, и здесь русская сторона захватила инициативу. Лидером в переговорах стал граф С. Витте. В отличие от Рузвельта он верно оценил степень износа военной машины Японии и желание японских правящих кругов остановиться на достигнутом. Витте, помимо прочего, продемонстрировал завидное знание американской жизни, значения прессы в Штатах: к концу конференции многие из влиятельных органов печати, поначалу враждебные России, изменили тон. Косвенным образом Витте использовал и самого Рузвельта, поставив его в положение, когда тот должен был торопить японцев. Когда конференция, казалось, зашла в полный тупик из-за спора о Сахалине и контрибуциях, Рузвельт сделал ход, увенчавший его примирительные усилия. В прямом обращении к Николаю II он обрисовал то, что виделось ему оптимальным компромиссом: Япония отказывается от требования ограничения русских военно-морских сил на Тихом океане (Рузвельт добился этого от японцев), а Россия соглашается на отторжение южной части Сахалина и выплату контрибуций.