在2002年《东方红魔乡》问世后,ZUN收到了各种书籍和漫画的提案,出版社BiBLOS的负责人给了ZUN一个企划,但因为对内容不满意,于是打算自己思考。在与TINAMI的佐藤心(香霖堂初代编辑)探讨后,他决定开始写小说。
《香霖堂》最初预定6话完结。有1篇分为前后篇,加起来可以连载1年,但连载到7、8话,ZUN也没收到结束连载的消息。2004年10月,《カラフルPUREGIRL》休刊,《香霖堂》迁移到《Magazine Elfics》进行连载,但该杂志也在2005年10月停刊,虽然预定将《香霖堂》以文库本的大小出版,但在讨论期间,出版社BiBLOS却破产了。由于当时BiBLOS的编辑非常照顾ZUN,一直帮他在找能够继续连载的公司,所以ZUN接下来就去了电击。电击很爽快地允许了,《香霖堂》得以平安无事地在《电击萌王》上开始连载。于完结数年后(2010年)由角川旗下的ASCII MEDIA WORKS Inc.出版单行本。
2015年于官方杂志《东方外来韦编》再开新连载。