일본에서는 올드커머들에게 의료, 보험, 교육, 복지 등 다양한 분야에서 지역주민으로서 동일한 권리를 부여하는 과정을 거쳐 왔다. 중앙정부와 지방정부는 외국주민을 따로 분류해 지원하기보다는 기존 업무 내에서 당연히 지역주민으로서 외국인을 포함해 행정서비스를 제공해 오고 있다. 외국인수용의 법령과 제도를 수동적으로 운용하는 중앙정부에 비해 지방정부는 지역주민인 외국인이 일상생활에 보다 용이하게 적응할 수 있도록 다양한 정책을 실시하고 있는 것이 특징이라고 할 수 있다.
외국인이 많이 거주하는 일본지방정부는 사실상 다문화공생시책을 선도하는 주체가 되고 있다고 해도 과언이 아니다. 행정, 취업, 교육, 거주, 사회보장 등 다양한 분야에 걸친 다문화시책을 종합조정하거나, 정기적으로 협의할 수 있는 조직을 구축하고자 노력하고 있으며, 시민단체와의 연계해 활동하고 있다. 지방정부에서는 다문화정책을 펴기 위해 시민과 행정간 협동체제 구축을 추진했으며, 시민단체와 주민모임과 같은 민간단체와 공동으로 다문화정책을 전개할 수 있는 거버넌스를 형성해오고 있다.
일본은 다문화 거버넌스에 대한 구축을 주로 지방자치단체 중심으로 전개하고 있으며 중앙정부의 법제정은 거의 전무한 편이다. 그러나 한국의 다문화정책은 지방조례 보다는 중앙정부차원에서 매우 활발히 법제정등이 전개되고 있다.
2007년에 들어 미야기현(宮城縣)에서 외국인조례가 제정되었고 2008년 들어 도쿄도 아다치구(東京都 足立區)에서 조례안을 내놓았다. 미야기현의 조례 정식명칭은 ‘다문화공생사회의 형성추진에 관한 조례’로 2007년 7월부터 시행되고 있다. 조례의 목적은 처음부터 다문화사회를 위한 광역단체, 사업자, 지역주민의 역할을 명확히 하고, 종합계획을 세우는데 있다.
중앙정부차원에서 다문화거버넌스를 구축하여 가고 있는 한국과, 지방자치단체가 중심이 되어 조례중심으로 다문화거버넌스를 구축하여 가고 있는 일본, 어느 제도가 다문화가족들이 주류사회와 함께 살아가는데 좋게 나타날지 일본과 한국의 다문화에 관한 사회적 실험에 귀추가 주목된다.