李源于贽在麻城时，住在龙湖寺芝佛院中。

在那里幽居，李贽的思想是苦恼而矛盾的，他对世事有火热心肠，却过着隐居生活；他住在僧院，读经谈佛，却供奉孔子；他自称和尚，但酒肉皆入。其实，他既不信孔，也不信佛，这样做不过是表示“玩世不恭”罢了。闲着无事时，他就在芝佛院著书讲学，“儒释从之者，几千万人”（沈瓒《近事丛残》），以至“一境如狂”（顾炎武《日知录》）。李贽喜欢引见求学者，不论谁请教他，提出什么疑难问题，他都耐心尽力解答，因此，他的声名和影响遍及麻城和黄安之间。有时，也有一些名门妇女来听讲就学。有人说：“女人见识短浅，不能学道呀！”李贽立即说：“讲人有男女性别之分，可以；讲见识有男女之分，哪行？讲见识有长有短，可以；但讲男子见识都长，女子见识都短，可以吗？况且那些为学法而来的女子，甚至比男子还强啊！”他愈说愈激昂，使大家都很惊讶。李贽说的“男子不如”者，是指梅国桢（曾任兵部右侍郎、总督宣大山西军务）的女儿谵然，她寡而信佛，归依李贽，李贽把她比作男子，为她著《观音问》等书。

由于李贽主张学道不分男女，因此，麻、黄间的士大夫们大哗，流言蜚语铺天盖地，他们攻击李贽，诋毁他“左道（偏道）惑众”，想驱逐他。李贽对此却付之轻蔑一笑，说：“我左道吗？那给加冠好啦！”于是，他穿起旧日的官服，以示反抗。