赵明诚与李清照从兄李迥外出游玩，在元宵节相国寺赏花灯时与李清照相识。赵明诚早就读过李清照的诗词，本已赞赏不已，此时一见，便产生了爱慕之意。

赵明诚回去后，便以“言与司合，安上已脱，芝芙草拔”的字谜方式，委婉地向父亲谈及此事。赵挺之恍然大悟，便派人去向李清照求亲。

婚后二人感情和谐，以收集金石字画作趣。后因政治因素，赵氏亲属被迫隐居乡里，赵明诚和李清照来到青州定居下来。赵家由显贵变成了普通百姓，对他们而言，却是因祸得福。他们把全部的精力都投放在金石、字画和古玩上。

赵氏夫妇每得一本奇书，便共同勘校，整理题签，的搭配书画器物，便仔细把玩，互相给予评价。同时，夫妇二人在饭后还时常坐在归来堂中烹茶。两人指着满屋的书籍互相拷问对方，猜中的人先饮茶。以此为乐。

赵、李二人还互比文采。李清照曾作《醉花阴》一词，由其以“人比黄花瘦”一句最为经典。赵明诚读后，赞叹不已。却又想胜之，便闭门谢客，废寝忘食三天，最后得词五十首，其中夹杂李清照的词。叫人评鉴，友人品味后说：“只三句绝佳。”赵明诚忙问是哪三句。友人回答后，赵明诚不禁哑然。原来是李清照的“莫道不消魂，帘卷西风，人比黄花瘦。”赵明诚由此更钦佩妻子的才学。