Два года спустя, несмотря на свои новые значительные заслуги, Жомини все еще оставался «Adjudant Commandant», когда Наполеон назначил его начальником штаба 6-го корпуса армии Нея. Но Бертье, оказалось, «ошибся» и объявил Жомини помощником начальника штаба. Обиженный и разгневанный Генрих Жомини подал в отставку, но в последний момент дело уладилось в пользу Жомини.

В 1809 году, по настоянию нового военного министра Кларка, Наполеон отозвал Жомини из Испании из штаба Нея, который потерпел серию неудач из-за игнорирования советов Жомини. Кларк отправил Жомини к Бертье, ставшему к тому времени главным начальником Генерального штаба наполеоновской армии. По предписанию Бертье Жомини занимается у него совершенно незаметной административной работой. А она так не подходила к его дарованиям и темпераменту!

В 1810 году Жомини все в том же чине, хотя вокруг него в армии сыпятся со всех сторон награждения. Чувствуя себя незаслуженно обойденным и устав от полупрезрительного к себе отношения Бертье, Жомини опять подает в отставку и военному министру посылает копию рапорта. Но тут барона ожидал неприятный сюрприз: его вызывают в Париж. Там Кларк, в ответ прошению Жомини об увольнении в отставку, просто угрожает ему Венсенским замком… Но еще один лишний раз дело Жомини устраивается задним числом, т. е. 7 декабря 1810 года: он был произведен в бригадные генералы. Но Бертье задержал его в своем штабе, в общем, для того, чтобы отвести Жомини от активной деятельности.

Только 4 мая 1813 года Бертье уведомил военного министра Кларка, что Жомини выслан в распоряжение маршала Нея на должность начальника штаба его 3-го корпуса. Это, следовательно, произошло на второй день после сражения у Люцена и за несколько дней до боя при Бауцене.

По окончании Бауценского сражения, завершившегося, по мнению французов-современников, «полууспехом» Наполеона, Ней представил ходатайство о производстве Жомини в чин дивизионного генерала. Но вместо производства Жомини был официально обвинен в небрежности по службе, так как якобы не представил к назначенному сроку столь важной для французского императора отчетности. По настоянию Бертье Жомини даже был арестован за плохое отправление обязанностей начальника штаба на несколько суток, с объявлением этого в приказе по армии…

13 августа, по получении бумаги с производствами на 15-е того же месяца, Жомини не нашел в списке своего имени: оно было исключено оттуда. Все, месте взятое, произвело на барона очень тяжелое впечатление. И тогда принятый давно заочно на русскую службу Жомини, больше не задумываясь, перешел к союзникам.

Поступок Жомини вызвал бурю негодования среди французов. Резкие нападки и грубые обвинения Жомини в предательстве, а также в передаче союзному командованию секретных бумаг и планов Наполеона появились позже в печати.

Но генерал Жомини был оправдан во всем. Одним из главных его защитников оказался сам Наполеон: французский император признал, что переход Жомини на сторону русских никак не может считаться актом дезертирства, предательства или измены, так как генерал Жомини был на службе Франции вольнонаемным и иностранцем, иными словами — не имел абсолютно никаких обязательств в отношении Французского государства. Кроме этого, Наполеон сознался, что помешал сам Жомини уйти от него в 1810 году: Жомини был ему слишком необходим, как самый талантливый из его сотрудников. О случившемся же после Бауцена (отставке от производства и аресте Жомини), равно как и о деталях длительного недостойного к нему отношения Бертье, Наполеону ничего не было известно.

Помимо оправдания Жомини таким блестящим авторитетом, как французский император, блестящая отповедь врагам генерала, в частности генералу барону де Марбо, была дана на страницах печати рядом лиц, и в их числе потомками генерала Жомини.

К сожалению, и в русской армии, по неизвестным причинам и несмотря на благосклонное и даже ласковое к нему внимание со стороны русских императоров, Жомини командовать тоже не пришлось, как он мечтал.