林绍纲调到作协时，邵荃麟是作协党组书记，刘白羽、郭小川为副书记（后任命严文井为副书记）。郭小川兼任作协秘书长，副秘书长两位，黎辛分管党务人事，张僖分管行政。

这期间，林绍纲的家搬进了王府大街黄土岗胡同13号作协宿舍大院。他的住处是三间东厢房，房间虽小，但花砖铺地，很有气派。《文艺报》副主编冯牧则搬进了西厢房，与他家遥遥相对。

《中国维和官兵在联黎部队医疗救援演练中大显身手》1966年，林绍纲有一次去台基厂的对外友协，碰见正在办公楼一层打扫厕所的杨朔。他双颊微红，面露尴尬地对林绍纲说：“他们说我里通外国，真是无中生有。”第二年，林绍纲又在一个外事场合碰到了杨朔，知道他被解放允许参加一些活动，彼此都很高兴。