天保九年（1838）生于长州荻城下川岛。父亲有稔是藏元付仲间（藩仓库的男仆头），是比足轻地位更低的卒族。他幼名辰之助，曾名小助、小辅。通称狂介，后又改名有朋，号素狂、含雪。

　　五岁时母亲松子过世，由继母和祖母抚养，日子过得很紧。父亲在他二十三岁的时候去世，代替母职的祖母也跟着去世。

　　山县立下壮志勤于文武，经久坂玄瑞的介绍入学吉田松阴的松下村塾。松阴评价他是个有根性的雄才。

　　山县用心极深、性格慎重。元治元年（1864）八月，四国联合舰队炮击下关，他作为奇兵队军监大为活跃，在内讧战中也有军功。戊辰战争中他担任越后口的官军参谋，打败了河井继之助。

　　新政府成立后，山县视察了欧洲的军政，归国后成为陆军中尉，尽力创设基于征兵制的近代化的常备军，设置参谋本部，把军队从政府中独立出来，终于形成了处于日本国陆军中心地位的长州陆军阀。

　　山县担任内务卿时，设立了警察、行政的中央集权机构，以枢密院和贵族院为后盾，扩展了山县阀，这与不喜欢派阀的伊藤博文形成了对比。明治二十二年（第一次），明治三十一年（第二次）就任内阁总理大臣。

　　据说明治天皇也不太喜欢山县，伊藤被暗杀后，桂太郎推荐他出任枢密院议长，天皇也不太同意。

　　大正十一年（1923）二月死去，时年八十五岁。在日比谷公园举行了国葬，坟墓在东京都文京区音羽的护国寺。戒名报国院高照含雪大居士。

　　墓志上刻枢密院议长元帅陆军大将从一位大勋位功一级公爵。