古巴国人遗民、古庸国人遗民、古楚荆湘地区的遗民是土家族的早最的雏形，这些国家灭亡后，子民还是在这个区域生活。由于湘西、鄂西、巴东是离中原最近的山区，中原汉族一遇战乱就迁徙，一部份南迁，另一部份就进入了这一山区生活。

土家人是古国遗民，不会像苗人那样拒绝容纳汉人，所以土家族与外来的汉人大量的混血融合，早期是融合中原、燕赵、关中逃难过来的北方汉人，元明清时融合安徽、江西移民过来的南方汉人，并且融合的历史长达2000多年。

居住在与苗族相邻地方的土家人又会有点苗化。

土家族语言是古巴国土话，土家人因为很早就和汉族融合，所以大部份土家人在汉代就说起了汉语，明清时说起了西南官话，也有极个别的土家人生话在极度闭塞的深山苗区，不与外界汉人联系，也不与汉族融合，甚至都不与汉化后的土家人通婚，所以还是保留了古巴国语言。

土家族在融合时保留了当地的巴楚文化基因，又有一点苗人的风格，山区闭塞贫瘠。因常起战事，所以勇武好战，生活风气也有些粗鄙，民俗即独特又多元，常被山外的汉人误称“土蛮”。

由于土家人的服饰与客家人十分相似（除了头饰），所以苗族也一直认为土家族是客人。

汉族英雄冉闵的后人现在也是土家族。几乎所有的土家族人都有汉姓，只要家里有族谱的都可以查到汉人祖先，所以土家族几乎999.99％是纯汉人。

　因为巴国人与汉人血统完全一样，同祖不同支，语言有区别，庸国楚国就更是汉人了。

说土家人是一支具有巴楚苗风的汉族山民支系也是没错的，DNA的分子学的检测和人类学家，历史学家都支持这一说法。