「しゃばい」のルーツは、古代インドのサンスクリット語「サハー（sahā）」に由来する仏教用語の「娑婆（しゃば）」にあります。本来の仏教において娑婆とは、苦しみを耐え忍ばなければならない「この世（現世・人間界）」を指す言葉でした。
やがて時代が進むと、自由を制限された刑務所（塀の中）の受刑者たちが、外の自由な一般社会を「シャバの世界」と呼ぶ隠語として定着します。ここから「娑婆の空気に浸って気が緩んでいる」「世俗にまみれて根性がない」といった状態を揶揄するニュアンスが生じました。
また、厳しい仏道修行に耐えられず、俗世への未練や甘さを残した修行僧を「しゃば僧（しゃばぞう）」と蔑んだ歴史も存在します。「娑婆っ気（世俗的な欲や甘え）が抜けていない未熟者」を指す表現が形容詞化し、現在の「しゃばい」という言葉へと派生していきました。
