据查证，目前所知最早活动于河南的康氏人是康巨、康孟祥二人与释昙谛家族。这些人大约在东汉灵帝时期来华。康巨，译出《问地狱事经》一卷；康孟祥译出《梵纲经》一卷，《太子本起瑞应经》二卷，《四谛经》等经六部。釋昙谛，汉灵帝时移居中原。汉献帝末迁往江浙一代。其父康肜曾经担任过冀州別驾的官职。

　　魏晋时，康僧铠，来到洛阳，译出《郁伽长者》等四部经。此外还有康敦家族。据《康敦墓志》称：夫人讳敦，其先康居国人也。晋太始年中奉表献真珠宝物，因留子孙，遂为河南洛阳人焉。 　　北朝时期，留居河南的有康威家族、康婆家族、康桢家族、康留买家族、康老师家族等等。如《康威墓志》称：君讳威，魏道武历通五运，爪牙同凑，迁兴大豫，今为河南人焉。《康婆墓志》称：君讳婆，本康国王之裔也。高祖罗，以魏孝文世，举国内附，朝于洛阳，因而家焉，故为洛阳人也。祖陀，齐相府常侍。父和，隋定州萨宝。《康桢墓志》云：君讳桢，河南巩县人也。原夫吹律命系，建旌西魏。祖安，翼赞周朝；父陀，匡辅隋室。《康留买墓志》：公讳留买，本即西州之茂族，后因锡命，遂为河南人焉。出土于河南孟津县的《康老师墓志》称：君讳老师，其先康国人也。曾祖宝，康国王之第九子也。周游击将军，以西诸国首领。祖和，周明威将军。父祗，隋鹰扬郎将。 　　隋末唐初，突厥归降唐朝，一部分被安置在今宁夏一带，有“六胡州”之称。唐玄宗时，六胡州人康待宾帅众反抗唐朝，史称有众七万进逼夏州。后被镇压。不久，康待宾部将康愿子再度起兵抗唐，自称可汗。但不久即被唐政府打败。为了缓和双方矛盾，唐政府开始大批“徙河曲六州残胡五万余口于许、汝、唐、邓、仙、豫等州。”上面的许州大约就是今许昌一带，汝州也是如此。唐州大约在今泌阳、方城、慈丘一带。邓州大约在今河南内乡、南阳、邓州一带。仙州大约在今叶县一带。豫州大约在今河南汝阳、汝南一带。 　　这些迁居河南的康氏（康居人），成为汉末至唐中期河南康氏的最初聚居群落。