تُنمى هذه الأسرة إلى السادة الأشراف من بني علوي الحسينيين المعروفين بحضرموت، وآل الكاف بطن من أسرة آل الجفري، المتفرع نسبها عن ذرية سيدنا أحمد (الشهيد)، ابن الفقيه المقدم محمد بن علي بن محمد (صاحب مرباط)، بن علي (خالع قسم)، بن علوي بن محمد بن علوي بن عبيدالله بن أحمد (المهاجر)، بن عيسى بن محمد (النقيب)، بن علي (العريضي)، بن جعفر (الصادق)، بن محمد (الباقر)، بن علي (زين العابدين)، بن الحسين بن الإمام علي بن أبي طالب، وفاطمة الزهراء ابنة سيد الخلائق أجمعين محمد صلى الله عليه وآله وسلم.
       استوطنت هذه الأسرة الكريمة مدينة تريم، وانتقل بعضهم إلى مناطق كثيرة كمدينة الهجرين وغيرها من مدن اليمن، ولهم أيضاً هجرات قديمة إلى عُمان والهند واندونيسيا وسنغافورة، ومؤخراً إلى دولة الإمارات العربية المتحدة، والمملكة العربية السعودية. 
       وقد اكتسبت هذه الأسرة شهرة واسعة في حضرموت والمهجر، وبالخصوص سنغافورة وأندونيسيا، واشتهر كثير من أفرادها بالعلم والخير والصلاح والأدب والتجارة والفن، ومنهم الزعماء والمصلحون الكبار، الذين أشادوا أعمالاً خالدة الذكر في تاريخ حضرموت خصوصاً واليمن والمهجر عموماً، وبالتالي فهي أسرة لها ثقلها الكبير ودورها الرائد في الداخل والخارج.
سبب التسمية بـ(آل الكاف) :
تذكر مشجرات السادة بني علوي وكتب الأنساب ومنها كتاب (شمس الظهيرة) وكتاب (خدمة العشيرة) أن أول من لقب بالكاف هو السيد أحمد بن محمد (كريكرة) بن أحمد بن أبي بكر الجفري بن محمد بن علي بن محمد بن أحمد (الشهيد) ابن الفقيه المقدم محمد بن علي باعلوي.
       ويقال: إن سبب هذه التسمية هو: أنَّ السيد أحمد المذكور، كان يطلب العلم مع جماعة نحو الأربعة أو الخمسة، ولهم شيخ فاضل ورع، وطال مرضه، فأمر تلامذته المذكورين ألا يقطعوا الدرس، بل يتناوبوا عليه ففعلوا، وحصل بين المذكورين خلاف في مسألة، فقالوا: نرفع المسألة إلى الشيخ، ولكن لا نذكر له أسماءنا، بل نضع رمزاً لكل واحد منّا فوافقوا، فمنهم من كتب رمزاً لاسمه (م)، وبعضهم (ج)، وكل واحد وضع على مسألته حرفاً من حروف الهجاء، وكان السيد أحمد كتب لاسمه حرف الكاف (ك)، ورفعوها إلى شيخهم فجاء الجواب منه: (الحق مع الكاف)، ومن حينها لقب بالكاف.
       وذكر الشلي في كتابه قصة أخرى فيقول: إن سبب التسمية أن جدهم أحمد المذكور اختصم مع رجل فقيل له: إنه قوس –أي الرجل- لكونه معوجاً في أحواله، فقال: أنا كاف يعني أشد اعوجاجاً منه.