羊玄保，泰山南城人。祖父羊楷，是晉朝的尚書都官郎。父親羊綏，是中書侍郎。

　　羊玄保開始擔(dān)任宋武帝的鎮(zhèn)軍參軍，少帝景平年間(423～424)，逐步升遷為司徒右長史。衛(wèi)將軍王弘對(duì)他十分器重，曾對(duì)左長史庾登之、吏部尚書王準(zhǔn)之說：“你們二位賢士聰明俊朗，很多東西可以會(huì)悟通達(dá)，然而寬弘美好的聲望，自然應(yīng)當(dāng)共同推重羊君?！辈痪?，入朝擔(dān)任黃門侍郎。

　　羊玄保善于下棋，品第居第三。文帝也好下棋，和他用郡官做賭注，結(jié)果羊玄保戰(zhàn)勝，所以便讓他補(bǔ)任了宣城太守。在此以前劉式之為宣城訂立了官吏對(duì)付叛逃的政策，一個(gè)人如果不能抓到，就以公文通知伍、里的官吏扭送州郡的有關(guān)部門，能抓到此人的人賞官位二級(jí)。羊玄保認(rèn)為這樣做很不恰當(dāng)，議論道：“臣探討叛逃的緣由，都是出于極端的逼迫?，F(xiàn)在訂立了特殊的政策，對(duì)于現(xiàn)實(shí)十分苛苦。又考慮這個(gè)政策僅只是在一個(gè)地區(qū)實(shí)施，如果它是正確的，則應(yīng)該與天下統(tǒng)一起來；如果它是不正確的，那就也不應(yīng)該在一個(gè)郡中單獨(dú)實(shí)行?！睆拇嗽t令停止那項(xiàng)政策。

　　他曾歷任丹陽尹、會(huì)稽太守、太常、吳郡太守。文帝因?yàn)檠蛐Ａ疂崢闼貨]有貪欲，所以頻頻地安排他在名郡任職。為政雖然沒有特殊的治績(jī)，而離開以后通常一定被人思念。他不經(jīng)營錢財(cái)利益，家產(chǎn)儉省微薄。文帝曾經(jīng)說：“一個(gè)人做官不僅必須要有才干，也必須要有運(yùn)氣。每次有了好的官位出缺，我不曾不先想起羊玄保?！痹獌篡繌s君自立，讓他做吏部尚書，兼任國子祭酒。到了孝武帝入京討伐，朝中人士大多向南逃走，劉劭把官員們?nèi)空偌^來，橫握鋼刀憤怒地說：“你們都可以走了?！贝蠹叶己芎ε?，沒有人敢說話。羊玄保面不改色，慢慢地說道：“臣愿意以死報(bào)效朝廷。”劉劭因此而緩和下來。

　　孝武帝即位，任命他為金紫光祿大夫，以謹(jǐn)慎恭敬受到重視。大明五年(461)，升任散騎常侍、特進(jìn)。羊玄保從少年到老年，對(duì)祭奠非常謹(jǐn)慎，四季的珍奇新鮮出產(chǎn)，凡是沒有經(jīng)過祭獻(xiàn)的，自己決不先嘗。死后，追加謚號(hào)為定子。

　　他的兒子羊戎少年有才氣，但卻人品輕薄，行為很不檢點(diǎn)，說話好用雙聲。江夏王劉義恭曾經(jīng)設(shè)齋，讓羊戎放好座位，過了一會(huì)兒江夏王出去了，因?yàn)樽惶?，他便自己把它拉寬。羊戎說：“官家狹窄，令人討厭，要再加寬八分。”江夏王笑著說：“卿哪里是只善于雙聲，乃是一位善辯之士哩。”文帝好與羊玄保下棋，有一次一個(gè)宮使前來，羊玄保說：“今天皇上為什么要召見我？”羊戎說：“金溝清淺，銅池碧波，光景美好，該是下棋?！毖蛐３３Ｏ铀p狂，說“這孩子一定會(huì)毀掉我家”。羊戎官居通直郎，因?yàn)榕c王僧達(dá)一道毀謗當(dāng)朝政治，被賜命自殺。死后，孝武帝引見羊玄保，羊玄保謝罪說：“臣沒有金日石單的明察，因此辜負(fù)了皇上?！被噬虾苜澝浪脑?。羊戎有兩個(gè)弟弟，文帝一起賜名叫羊咸、羊粲，對(duì)羊玄保說：“希望能讓你的兩個(gè)兒子有正始時(shí)代的林下余風(fēng)?！?br />
　　羊玄保善于下棋，而何尚之也極愛這種游戲。吳郡的褚胤七歲時(shí)便進(jìn)入了高品級(jí)，等他長大，為當(dāng)時(shí)的冠軍。褚胤的父親褚榮期與臧質(zhì)一同叛逆，褚胤應(yīng)當(dāng)隨從殺死。何尚之堅(jiān)持請(qǐng)求說：“褚胤下棋的高妙，超過古代，冠于當(dāng)今。魏韜違犯了法令，因?yàn)椴鸥叨@赦免，父親被殺兒子寬大處理，這種例子很多。特請(qǐng)給予他一個(gè)活命，使一種奇異的技藝不致斷絕?！苯Y(jié)果沒有得到批準(zhǔn)，當(dāng)時(shí)的人對(duì)此十分惋惜。