在宋代，这个词继续广泛使用。譬如《东京梦华录·民俗》记汴京市民，「其士农工商诸行百户衣装，各有本色。不敢做外。」故「街市行人，便认得是何色目。」《梦溪笔谈·卷十九》记郓州发掘出一甚大之铜弩机，其上刻文「臂师虞士，牙师张柔。」作者云：「史传无此色目人，不知何代物也。」《鹤林玉露·乙编卷之一》记经总钱：「军兴，议者再请施行，色目寝广，视宣和有期焉。以迄于今，为州县大患。」《铁围山丛谈·卷六》记建溪进贡之龙茶，有「北苑龙培」、「正格」、「龙培」、「密云龙」、「瑞云翔龙」等名目。「其后祐陵雅好尚，故大观初龙焙于岁贡色目外，乃进御苑玉芽、万岁龙牙。」《野老纪闻》载陈长方读史：「每看一传，先定此人是何色目人，或道义，或才德。」此皆其类。
《南部新书》：「大中以来，礼部放榜，岁取三人姓氏稀僻者，谓之『色目人』，亦谓之『榜花』。」《南部新书》所记，反映出早在宋朝初期以来，「色目人」已作为一个专名词出现，指的是姓氏生僻的所谓「杂姓」人物。
胡小鹏考察翻译过程中大量保留蒙古语的语法特征而形成所谓「蒙文直译体」文件，发现「色目人」是蒙古语「合里·亦儿坚」(qari irgen)的对译，在蒙古国前四汗（铁木真、窝阔台、贵由、蒙哥）时期，用蒙古语「qari irgen」指称蒙古国统治范围内除蒙古人之外的一切被征服或联合的对象。反映的是蒙古人我族与他者两分的族群认知。在汉地，该词被译写为「色目」。忽必烈至元以后，由于统治对象主要是汉地的汉语人群，需要将土著汉语人群与外来族群相区别，「合里」(色目)中遂排除了汉语人群，逐渐演化为西域诸国人的专称。在这一过程中，在原有的蒙古人对「合里」(色目)的他者认知之外，又产生了汉语人群对「色目」的他者认知。两种认知既有重迭，又有区别，蒙元中期以后，后一种认知成为了主流认知。
元末陶宗仪的《南村辍耕录》一书中记载色目31种：哈刺鲁、钦察、唐兀、阿速、秃八、康里、苦里鲁、刺乞歹、赤乞歹、畏吾兀、回回、乃蛮歹、阿儿浑、合鲁歹、火里刺、撒里哥、秃伯歹、雍古歹、蜜赤思、夯力、苦鲁丁、贵赤、匣刺鲁、秃鲁花、哈刺吉答歹、拙儿察歹、秃鲁八歹、火里刺、甘木鲁、彻儿哥、乞失迷儿。
据钱大昕《元史氏族表》探查，则有23种：畏兀、唐兀、康里、乃蛮、雍古、钦察、阿速、迦叶弥尔、宾夷、族颍、突甘斯、威木鲁、土波思乌斯藏摄族、回回、也里可温、木速蛮、合刺鲁、合鲁、阿鲁浑、尼波罗、板勒纥城、谷则干儿、伊吾庐。
近代屠寄《蒙兀儿史记·色目氏族表》考索有26种：乃蛮、合儿兀鲁、畏兀儿、唐兀、雍古惕、甘木鲁、赤乞歹、吐蕃、回回、也里可温、曲儿只歹、阿刺温、苔失蛮、火里刺、吐火里刺、乞失迷儿、尼波罗、康里、钦察、阿速、薛儿客速、密赤思、客剥儿、贵赤、秃鲁花。[1]