土家族自称“毕兹卡”、“密基卡”或“贝锦卡”，意为“土生土长的人”。
历史上，土家族先民被称为“蛮”或“夷”。宋代以前，居住在武陵地区的土家族与其他少数民族一起，被称为“武陵蛮”或“五溪蛮” 。宋代以后，土家族就单独被称为“土丁”、“土人”、“土民”或“土蛮”等 。改土归流后，随着汉族移民的增加，“土”、“客”、“苗”往往对举，以对武陵地区的土家、汉、苗三族进行区分。
“土家”作为族称，是在较晚时期出现的。民国时期的《咸丰县志》将土司后裔的“支庶之家”称为“土家”，而将当地汉族移民称为“客家”[3] 。
关于土家族的族源，说法不一。
一说是古代巴人的后裔。认为从《十道志》等书的记载和唐代刘长卿、刘禹锡等人反映湖南风习的诗词来看，“巴人”的确广泛进入湘东北、湘西和沅、湘流域；今湘西土家族自称“毕兹卡”（“比兹卡”），历史上巴人聚居与活动区域内的有些地名，读音与“比兹”近似；巴人的姓名、族名等，也有些和“比兹”的读音近似；巴人和土家族都有关于虎的故事与神话；巴人崇拜白虎神与土家族相同；巴人与土家人的姓氏一部分相同。
一说是古代由贵州迁入湘西的“乌蛮”的一部。此说根据《溪州铜柱记》说：“盖闻牂牁接境，盘瓠遗风，因六子以分居，入五溪而聚族。”认为土家族来自贵州。贵州境内一直有“比兹”族，如民国《大定县志》卷五谓：“比济系白罗罗之名，因号其地为比跻，久之讹为为毕节”。元代的《经世大典 招捕总录》的《八番顺元诸蛮》篇中也说今贵阳、惠水之间有“必际”一族。“比跻”、“必际”，当即“比兹”，和土家族的自称相近。据历史记载，中唐以后，“越嶲”一带的“乌蛮”曾入贵州 。“兵敷出，侵地数千里” 。当地土著一部分被其征服，就是“白罗罗”称谓的起源，一部分与他们进行长期的斗争，最后被迫迁入湘西和云南。“土家”这个名称即是对新侵入的“乌蛮”而言。土家族的语言与西南彝族比较接近，也是土家族来自贵州的一个佐证。 共9张 百科图册
一说是唐末至五代初年（910年前后）由彭瑊率领的从江西迁居湘西的百艺工匠的后裔。一部分人在沅陵定居下来，至明洪武二年（1369年），又由沅陵莲花池迁往湘鄂西山区，披荆斩棘，开山辟岭，繁殖生息。