Costruito tra il 1841 e il 1847 per ospitare al piano terra botteghe d'affittuari e ai piani superiori inquilini, il palazzo era annesso alla Fattoria dei Servi di Maria. Qui risiedeva un frate del convento di Sant'Antonio di Pisa, detto "Agente di Compagnia", il quale, aiutato dai confratelli, amministrava i beni dei vari possedimenti nelle colline. La fattoria di Lari garantiva una delle principali entrate finanziarie del convento pisano. Nelle vicinanze o all'interno fu costruita una cappella.