苏格兰牧羊犬的起源之说即使在今天仍然是一个谜。但是短毛苏格兰牧羊犬和粗毛苏格兰牧羊犬这两个类型，在苏格兰和英格兰北部的历史上已经存在了很久。“牧羊”是人类历史上最古老的工作之一，相应的，苏格兰牧羊犬祖先的历史也经历了颇为久远的发展。有趣的是，早期的短毛苏格兰牧羊犬的工作并不是在牧场驱赶羊群，而是把牛羊牵引到集市上。
对于苏格兰牧羊犬最早期的描述是托马斯·波维克于19世纪初期创作的一幅木刻版画。当时画中的粗毛型苏牧被定性为“牧羊犬”，而短毛型则是“猛犬”。据当时记载，粗毛型苏牧的肩高仅有36.5厘米，体型更接近于现代的喜乐蒂牧羊犬，而短毛型苏牧则略大一些，而毛色也基本以黑色或黑白色为主。
谈到了毛色，就不得不说说“COLLIE”这个名字的起源。在安格鲁撒克逊族语里，“COLLIE”的意思是代表“黑色”。有一种说法是——“COLLIE”是指当地一种长着黑色面皮的羊，久而久之，人们把驱赶这些羊的牧羊犬也叫做“COLLIE”。而另外一种说法是——当地有一种黑色的、长着长毛的牧羊犬，据说它们是现代苏牧的祖先之一，而它们的名字正是“COLLIE”，所以沿用至今。在那时候这种狗被称为“COL”、“COLLEY”、“COALY”，而当时最流行的应属“COL”。直到19世纪早期，维多利亚女王才统一了民间的叫法，将其正式命名为“COLLIE”。
