明治22年4月1日、「市制町村制」の施行と同時に全国に31市が誕生しました。　明治31年5月18日、岐阜市において関西各市の代表が集った際、関西各市聯合協議会の設置が決定され、毎年１回会議を開催し、諸問題について協議することとされました。 この関西各市聯合協議会が全国市長会の発祥です。その後、毎年1回、各都市の持ちまわりで会議が開かれました（明治37、38年は日露戦争のため開催されず）。

　上記の「関西各市聯合協議会」が、「全国市長会」になるまでの変遷は次のとおりです。

　日露戦争後の明治39年11月に奈良市で開かれた第７回会議において、全国の市（北海道と沖縄を除く）を会員とすることとし、その名称が全国各市聯合協議会に改められました。

　大正3年11月に京都市で開かれた第14回会議では、北海道、沖縄の各区（北海道、沖縄 では市制でなく区制が施かれていた）についても会員とするため、名称が全国各市区聯合協議会に改められました。

　その後、北海道、沖縄でも市制が施かれたことから、大正12年10月に静岡市で開かれた第23回会議において、名称が再び全国各市聯合協議会に改められました。

　昭和5年5月に宇治山田市（現在の伊勢市）で開かれた第30回会議では、大幅な機構改革を行うとともに、名称を全国市長会と改め、今日に至っています。 

　全国市長会の機構については、逐次、規則・会則の改正が行われ、 その都度、機構、機能の強化を目指して変更されてきました。その主なものは次のとおりです。

　明治31年に全国市長会の前身である関西各市聯合協議会が設立された際、全9条からなる規則が制定され、毎年5月に会議を開くこと、会長を置くこと、その会長には開催市市長があたること等が定められました。

　大正12年の規則改正では、決議事項の実現を目指すため、実行委員会を設置することとされました。

　昭和5年には、聯合協議会の機構の充実強化についての必要性が提示されたことから、従来の協議会規則を廃止し、新たに全国市長会会則が制定されました。これにより、事務所の東京設置、会長、実行委員、幹事の各役員及び顧問、相談役の設置、また、総会における役員市長の選挙などとともに、総会提出議案について各地方市長会議の議決によることなどが規定されました。

　戦前における総会は、昭和18年10月に福岡市において開催が予定されていた第43回全国市長会が時局緊迫を理由として中止されたことから、昭和17年7月に岐阜市で開かれた第42回全国市長会が最後となりました。

　戦後、昭和22年4月に第１回統一地方選挙が実施され、公選の市長が誕生しました。また、同年5月3日には日本国憲法及び地方自治法が施行され、現行地方自治制度の基盤がつく られました。さらに、同年6月5日には、公選市長による第１回全国市長会議が開催されています。なお、官選市長による会議は、昭和21年4月に開催された臨時会議が最後となりました。

　昭和22年11月に京都市で開かれた第2回全国市長会議では、役員のうち実行委員及び幹事を廃し、新たに副会長・常任委員・常務理事・理事を設置することを主な改正点とする会則改正が行われました。また、この改正において、地方部会を全国9地区に設置することが会則に明記されました。

　昭和23年5月の第3回全国市長会議では、体質を強化する観点から事業内容の明確化、専任職員による事務局の設置が会則に明記されました。

　昭和24年4月に別府市で開かれた第5回全国市長会議では、副会長の1名から3名への増員、常務理事の廃止などについての会則改正が行われました。

　昭和27年5月の第12回全国市長会議では、昭和23年に設立されていた日本都市連盟との合併が決定され、それに伴う機構改正のための会則改正が行われました。その主な点は、 常任委員会（現在の評議員会）に分科委員会（現在の委員会）を設置すること、9地区の地方部会を支部とすること、一般都市と異なる性格を有する市の機能に対応するために部会を設置することなどでした。

　昭和25年1月に 全国市長会館が落成し、事務局は日比谷の市政会館から千代田区平河町に移転しました。

　なお、全国市長会事務局は、その後、昭和28年に千代田区九段に移転し、昭和41年には再び千代田区平河町に移りました。

　昭和28年9月に、町村合併促進法が公布されたことにより、昭和29年に入ると200近くの市が新たに誕生しました。そのため昭和29年11月の第17回全国市長会議では、加盟市の増加に対応するため、次のような機構改革が行われました。まず、総会を全国市長会の全体会議・最高機関として、極めて重要な案件についての審議、決定または承認を行うものとするとともに、総会のもとに評議員会を設置し、その他の案件の審議、決定については評議員会に行わせること、次に、市数の増加及び市政上の問題を考慮して特別委員会を設置すること、そして、理事会を執行機関とし、評議員会の委任にかかる事項を併せて審議することなどです。

　昭和30年6月の第18回全国市長会議では、支部の強化を図る観点から支部長が「役員会に出席し、意見を述べることができる」ように改正が行われました。

　昭和35年6月の第23回全国市長会議では、復帰前の沖縄の那覇市について、準会員制度を設けることにより全国市長会に加盟できることとしました。なお、その後、昭和40年には、沖縄から他の5市が準会員として加盟しています。

　昭和38年6月の第26回全国市長会議では、役員機構の強化を図るため、それまで3名であった副会長を4名に増員するとともに、昭和30年から「役員会に出席し意見を述べることができる」とされていた支部長を新たに役員とすること等が決定されました。

　また、同月に地方自治法が改正され、全国市長会（他5団体）が全国的連合組織として自治大臣への届出団体として規定されました（地方自治法第263条の3）。

　なお、同年8月には、本会をはじめとする地方関係六団体により地方自治確立対策協議会が結成されました。

　昭和39年6月の第27回全国市長会議では、都道府県市長会の組織が会則に明記されました。

　昭和49年5月には、組織運営の強化を図るため、全国市長会臨時政策推進懇談会の答申に基づいて、都道府県市長会会長の役員会への出席、会長の補佐機関としての政策推進委員会の設置などの措置がとられ、これが現在の本会の組織運営の基礎となっています。

　さらに、昭和51年6月の第46回全国市長会議では、各支部（ブロック） の情勢を速やかに中央に反映させるため、副会長を従前の4名から各支部1名ずつの9名にすること、会長の任期を従前の1年から2年にすること、都道府県市長会会長の役員会への出席について会則に明記すること、事務局長を事務総長に改めること等が定められました。

　平成5年6月に地方自治法が改正され、「地方公共団体の長等の全国的連合組織（全国市長会など地方六団体）は、地方自治に影響を及ぼす法律又は政令その他の事項に関して、自治大臣を経由して内閣に意見を申し出、又は国会に意見書を提出できる」（地方自治法第263条の3第2項）こととされました。

　これを受け、平成6年6月の第64回全国市長会議では、組織構成を「各市」から「市長」に改めるとともに、事業活動に意見具申に関する事項を追加するなどの会則改正が行われました。

　なお、同年9月には、この地方自治法第263条の3第2項の規定に基づいて初めて意見具申権を行使し、「地方分権の推進に関する意見書‐新時代の地方自治‐」を地方六団体そろって衆・参両院議長並びに内閣総理大臣に提出しました。

　平成12年6月の第70回全国市長会議では、分野別の政策課題を調査研究･審議する常設の政策審議機関を会則に明記することとし、これまでの｢分科会｣の名称を「委員会」に改める会則の一部改正が行われました。

　平成13年6月の第71回全国市長会議では、その前年の地方自治法の改正により「基礎的な自治体」として位置づけられた特別区（東京23区）の区長の加入を認めるための会則の一部改正が行われました。

　平成18年6月の第76回全国市長会議では、「地方分権の推進に関する意見書『豊かな自治と新しい国のかたちを求めて』」を決定し、「新地方分権推進法の制定」等について地方自治法第263条の3第2項の規定に基づく意見具申権を再び行使し、地方六団体そろって衆・参両院議長並びに内閣総理大臣に提出しました。

　また、同年の地方自治法の改正では、「地方公共団体に新たな事務又は負担を義務付ける場合、地方六団体が内閣に対して意見を申し述べることができるよう、各大臣は当該施策の内容となるべき事項を知らせるために適切な措置を講じる」とする情報提供制度が新たに設けられました。（地方自治法第263条の3第5項）

　平成23年5月に「国と地方の協議の場に関する法律」が施行され、本会をはじめ地方六団体が永年にわたり繰り返し要請してきた「国と地方の協議の場」が制度化されました。これにより、本会はその構成メンバーとして、国の地方自治体に関わる政策課題について、企画段階から国と協議を行い、関与していく体制が整いました。

　これに伴い、同年6月の第81回全国市長会議において、「国と地方の協議に関する事項」を本会の事業として正式に位置づけ、これに積極的且つ効率的に対応できるよう、総会の議決事項への追加や会長の専決及び総会・理事会・評議員会への報告、承認等を内容とする会則の一部改正が行われました。