Масон, член московской ложи «Девкалиона», которой руководил С. И. Гамалея, был возведён в «теоретический» градус, где также работал под руководством С. И. Гамалеи. Входил в ложу «Латона» во главе с Н. И. Новиковым.
Оставшись без всяких средств к существованию, Баженов открыл художественное заведение и занялся частными постройками. Перемену в его служебной карьере и немилость Екатерины объясняют его сложным самолюбивым нравом, а также связью с кружком Н. И. Новикова, который поручил ему доложить наследнику Павлу I о выборе последнего московскими масонами в верховные мастера.
В этих сношениях с цесаревичем Екатерина подозревала наличие политических целей, и гнев её на Баженова обрушился раньше, чем на других; но дальше исключения из службы дело не пошло, а в 1792 году он был принят вновь на службу по адмиралтейств-коллегии и перенёс свою деятельность в Петербург.
Без всяких оснований ему приписывался Каменноостровский дворец — дворец великого князя Павла Петровича на Каменном острове и работы в Гатчинском дворце.
Документально только подтверждается его участие в разработке одного из проектов Михайловского замка. Как установили петербургские исследователи, авторство этого грандиозного сооружения приписать только Баженову невозможно.
Работы начались задолго до строительства и велись «под диктовку» Павла Петровича, саморучно набросавшего эскизы плана, сначала архитектором Малого двора А. Франсуа. Виолье, затем — в 1790-х годах — к делу подключился и Баженов, но окончательный проект был составлен В. Бренной; он-то и был осуществлён.
