在回山東的路上，龐三杰等人又劫掠了單縣的教民財產(chǎn)并燒毀了天主教薛孔樓洋學。在這過程中，龐三杰的人馬增加到上千人，在從碭山縣到單縣和豐縣的路上，他們燒毀了九十多家教民的房子，隨后又返回侯家莊并將那里的建筑付之一炬。

這時，江蘇的官員們終于按捺不住了，他們隨后調(diào)集了一支相當規(guī)模的軍隊前來鎮(zhèn)壓。威脅之下，龐三杰隨后又向劉士瑞請求增援，后者派出了他的得力弟子彭桂林前去領導山東大刀會的成員。但是，龐三杰的隊伍因為夾雜了太多原本不是大刀會的人而變得紀律失控，為了解決食物問題，龐三杰和彭桂林只能對這些人的劫掠行為睜一只眼閉一只眼?---不管是官軍還是賊軍，當時打起仗來后勤問題總是一片混亂。

6月28日，龐三杰、彭桂林等人率大刀會圍攻單縣和碭山縣交界的馬良集，次日攻入后對集內(nèi)的鹽店、酒店、京貨鋪、雜貨鋪及江南裁缺外委衙門進行了一番搶掠。這些人的舉動激起了地方團練的憤怒，當時馬良集的寨主率領上千人與之對陣，并協(xié)助趕來的官兵一起進攻，最終大刀會失利，在死傷了八九十人后，首領彭桂林和智效忠分別被擒被殺，龐三杰僥幸逃命，余眾則一哄而散。

龐三杰引發(fā)的事件被武力平息后，迫于德國和法國公使要求嚴懲兇手的壓力，山東巡撫李秉衡決定對大刀會進行彈壓。為根除隱患，李秉衡向當時已經(jīng)升任為山東按察使的毓賢及新任兗沂道錫良分別發(fā)布指令，要求將劉士端和曹得禮二人予以處決。李秉衡此舉，似乎是有意要撇清與大刀會的關系，以免有“包庇縱容例禁會匪”之嫌，而這兩位新任的官員，顯然也要對上司有所表示。

于是，這次的事件有了一個圓滿的解決，龐三杰在離開家鄉(xiāng)一段時間后，又返回了老家并逐步恢復了他的社會地位。令人稱奇的是，龐三杰隨后開始頻繁的參與教會活動，在1897年秋天因“巨野教案”爆發(fā)而導致地方局勢不穩(wěn)的時候，龐三杰還曾親自前去保護耶穌會的江南主教通過這個教區(qū)。更有意思的是，龐三杰后來并沒有參與義和拳的任何活動，他后來接觸到山東的革命黨人并投身于革命活動，1936年國民政府還曾為他立碑。

從這個戲劇性的事件或許可以看出，當?shù)孛癖妼虝]有絕對的仇恨而更多的是一種利益糾葛，而教會干涉詞訟并借以發(fā)展教民也是不爭的普遍事實。至少從徐州教區(qū)來看，在龐氏家族皈依教會后，這個教區(qū)的教民在隨后的幾年中得到急劇的發(fā)展，1896年徐州教區(qū)入會人數(shù)只有3550人，1897年則達到10000人，而1898年是17000人，1899年甚至達到了26000人。