В то же время притязания короля на галицко-волынское наследие вызывали войну его с литовскими князьями Гедиминовичами. Первое столкновение с ними окончилось перемирием, заключенным около 1345 года. По этому перемирию за королем признавалось владение только Львовской землей; тогда как земля Владимирская, уделы Луцкий, Бельзский, Холмский, Берестейский и даже Кременец остались в руках литовских князей. Следовательно, перевес в борьбе оказался на стороне последних. Но вот в 1348 году литовские князья потерпели поражение от крестоносцев на берегах Стравы. Вскоре потом Казимир возобновил войну и быстрым нашествием во главе сильного войска захватил Владимир, Луцк, Берестье и некоторые другие важнейшие города Волыни и предложил Любарту довольствоваться Луцким уделом под верховной зависимостью от польского короля. Однако такая удача продолжалась недолго: литовские князья соединились и не только изгнали поляков из Волыни, но и произвели опустошения в коренных польских областях. Тогда папа Климент IV назначил Казимиру десятую часть церковных доходов с Польши для войны с литовскими язычниками и велел польским епископам проповедовать крестовый поход. В то же время Казимир получил помощь от своего племянника и наследника своей короны, угорского короля Людовика. Но Ольгерд, со своей стороны, заключил союз с татарскими ханами Подолья. Война с переменным успехом тянулась еще около пяти лет (до 1356 г.), и обе стороны, по-видимому, остались при прежних владениях. Спустя десять лет (в 1366 г.) война за галицко-волынское наследство возобновилась в третий раз и была вначале также удачна для Казимира. Но этот король умер, не докончив спора (в 1370 г.). Пользуясь временем междуцарствия в Польше, литовские князья снова успели отвоевать Волынь. Наконец уже в 1377 году, то есть незадолго до своей смерти, Ольгерд заключил мир с польско-угорским королем Людовиком. По этому миру Волынь, то есть Владимирский и Луцкий уделы, а также Берестейская область отошли к Литве, а Галиция, с присоединением уделов Холмского и Бельзского, осталась за Польшей. Король Людовик предоставил управление Галицией одному из силезских князей, Владиславу Опольскому, на правах удельного князя.

Так, после многого кровопролития и взаимных разорений, решен был этот долгий спор за галицко-волынское наследство. Но ввиду последовавшего вскоре соединения Литвы с Польшей и само это кровопролитие, в сущности, оказалось бесполезным для той и другой стороны.

Тесные отношения литовской династии к западнорусским областям не могли не оказывать влияния на саму эту династию: она все более и более русела и крестилась по православному обряду. Если уже семейство Гедимина состояло отчасти из православных членов, то семейство Ольгерда почти сплошь было православное. Обе его супруги, первая княжна Витебская Мария и вторая княжна Тверская Юлиания, воспитывали своих детей в православии и, живя в Вильне, открыто исповедовали свою религию, имели при себе православных священников и воздвигали здесь храмы. Предание приписывает Марии построение в Вильне Пятницкой церкви (где она была потом погребена), а Юлиании сооружение каменной соборной церкви Св. Николая. Сам Ольгерд, по некоторым известиям, был также окрещен в своей молодости. По крайней мере, он был уже православным в то время, когда находился в браке с витебской княжной и занимал Витебское княжение. О том Русская летопись свидетельствует по следующему поводу. В 1342 году, по просьбе псковичей, Ольгерд ходил к ним на помощь против немцев и, когда немцы были прогнаны, псковичи просили Ольгерда креститься и сесть у них на княжение. Ольгерд отвечал: «Я уже крещен и есть христианин, а другой раз креститься не хочу». Вместо себя он предложил юного сына своего Вингольда, который, действительно, был немедленно окрещен в Пскове под именем Андрея и посажен там князем.