古巴比伦人、埃及人、罗马人等在攻占城池的战斗中，已开始使用犬。我国古代时已有“……设犬铺，以犬守之，敌来则群吠”的记载。在15世纪时，法国国王路易十一世曾建军犬队作为内卫。拿破仑皇帝在其一生征战中也与他的军犬有不解之缘。近代中法之战中，中方黑旗军的主将刘永福所训练的爱犬“黑虎”，直扑法军旗手的咽喉，令法国士兵心寒。
到了现代，无畏的军犬在枪林弹雨、硝烟弥漫的战场上，英勇向前，创立了战功。首次大规模地将犬应用于战争始于第一次世界大战，当时德、意、法、英等国都建立了军犬勤务部队。德军与法军分别使用了3万及2万只犬。第二次世界大战时期，美军开始组建军犬基地，后将2万只军犬组成1只代号为“k-g”的特种部队，投入战场。苏军于1941年8月组建了特殊的反坦克部队——军犬连，共有4个，每连有126只军犬，在原苏联的卫国战争时期，这些训练有素的孕犬，探险排雷，并身驮炸药，钻入坦克腹底，与敌坦克同归于尽，共摧毁德军坦克300余辆。在整个第二次世界大战中，双方在战场上共使用军犬25万余只，被广泛用于传信、警戒、侦察、探险、排雷及运输等项任务，它们英勇忠诚，屡建战功，有的犬还被授予勋章。
50年代初期，美国在越南及朝鲜战场也配备了军犬排，执行侦察、干扰等任务，并被训练扫雷，犬嗅出多种壳制地雷中的火药味后还会后撤，由工兵引爆扫雷。埃以战争中，双方士兵血战杀场，牺牲惨重，一些尸体埋弃在沙漠里难以找出，后从联合国调来英国的军犬6只开赴西奈半岛，6周内共寻到400多具尸体而立功。80年代初期，美军曾组织训练了一支军犬跳伞部队，目的是空降军犬到敌后迫使其失去战斗力。同样，在以后的阿富汗、柬埔寨战场及进入90年代后的海湾战争中，军犬起到了很好的作用，被誉为“和平天使”和“英雄”。
我国军队是从1951年开始在南京、昆明及重庆等地开始装备军犬的。1979年对越自卫反击战中，我军曾用军犬完成防御、警备、侦察等项军事活动。目前，陆、海、空三军均有军犬建制。
随着现化科学技术的迅速发展，各种高精尖的军事设备不断出现并更新，但军事专家预见：在未来战争中，军犬仍将会起到一些先进武器难以替代的作用。
