横浜市中区寿町地区はいわゆる日本三大ドヤ街の一つであり、昭和49(1974)年9月に寿町地区の生活環境の整備、日雇い労働者の保護職業斡旋を図るため寿町総合労働福祉会館が竣工した。寿町地区では、診療所の開設が待たれており、会館内にはそのための区画が準備されていたが、5年間は医師の引き受け手が見つからなかった。佐伯 輝子医師が自身で経営する医院での勤務やその他のやりくりをつけて所長に就任し、54(1979)年7月に寿町勤労者福祉協会診療所が開設された。

診療所では毎週月・水・金の午後2時から6時までを時間帯として医療スタッフを確保し、隔日の診療業務で開始した。保険医療が前提であったが、地域の特殊性から無料受診者が相当数あるものと見込まれたため、必要な医療を受けるのに当面費用負担が困難と認められるものを「特別診療者」として、借用書によって医療を受けるシステムを取り入れ、緊急かつ真に医療を必要をするものを優先することを基本方針とした。当初予想では1日当たり25人程度を見込んでいたが、患者は月を追って増加し、同年12月の1日平均は44.3人（1日最多患者数92人）に達し、閉院時間は時には午後8時頃になることもあった。地域住民をはじめ、利用者・医療スタッフ等から週日診療を望む声が多くなり、他の医師やスタッフの体制を整えてケースワーカー1名を含む7名とし、昭和57(1982)年4月から週5日制（土・日・祝日を除く）診療の実施となった。

診療開始当初には、剃刀で切りつけられたり、首を絞められたり、ドアを数回壊されたりしたこともあった。アルコールに酔ったまま訪れる患者や暴れる患者たちに自分の姿を見せるために、待合室に全身が映る大きな鏡を取り付ける等の策を講じ、十分な効果を得た。また、患者にはケンカ等による負傷者が多く、一方では高齢者、身体障害者が増加しており、エレベータのない3階診療所を訪れること自体が負担になっていた。これに対処するため、平成10(1998)年に診療所を1階へ移設して、待合室などを拡張するなど、利用者の立場に立った改善を行い、大変好評を得ている。

また近年、結核患者の増加が問題となっているが、国立横浜南病院と連携し、寿町診療所を拠点としたDOTS事業（結核患者が看護婦の直接の監視下による短期化学療法）の実施にも佐伯医師は尽力している。

寿町での診療を始めて22年、就任当初はこれほどの長期に勤めることになるとは予想もしなかったと佐伯医師は笑う。「女赤ひげ先生」と呼ばれ慕われる佐伯医師への地域住民からの信頼は篤い。