贝利亚主政那段时期，对他自己来说绝非轻松愉快的日子。他的两位前任，雅戈达是因镇压不力被处死的，叶若夫是因镇压过度被枪毙的。贝利亚上任后，斯大林一会儿谴责叶若夫的暴行，一会儿又强调大镇压的意义；一会儿要求恢复法制，一会儿又说刑讯逼供必须继续实施。那么究竟怎样做才能让斯大林感到满意而不至于自己脑袋搬家呢？

　　1934年底开始的大清洗运动，不仅未能将苏联的“外国间谍”和“恐怖分子”肃清杀绝，相反越弄越多，而这一运动中破坏法制、相互告密、滥杀无辜的行为又使得全国上下人人自危，互不信任。无论干部还是群众都唯唯诺诺，意志消沉，抱怨日渐增多，加上第二次世界大战日益迫近，进入1938年后，斯大林开始考虑逐步放慢镇压步伐。

　　斯大林选中贝利亚

　　1938年1月9日，联共（布）中央作出了《关于错误地解雇因反革命罪被捕者的家属这一事实的决定》。在14日召开的中央全会上，许多发言者呼吁“不要无充分理由就控告人，要把犯错误的人与破坏分子区分开”。虽然斯大林对某些发言“过火”的人仍进行了惩治，比如中央政治局候补委员波斯特舍夫说古比雪夫州党组织的瘫痪是大清洗造成的，斯大林当即进行了反驳，接着又把他开除出政治局（此后不久被开除出党，并遭枪决），但全会还是通过了《关于党组织在开除党员方面的错误、对待被开除联共（布）党籍者的申诉的形式主义和官僚主义的态度以及克服这些缺点的办法》的决议。

　　决议指出，各级党组织及其领导者虽在清洗自己队伍里的托洛茨基分子和右派分子方面做了很多工作，但同时在工作过程中也发生了一些偏差，他们往往不顾斯大林和党中央关于在进行处分时必须采取慎重态度和个别对待的指示与忠告，常常用完全不正确的、罪恶的轻率态度来对待开除党员的问题。决议在列举了各地有关这方面的一些事例后断言，这些情况之所以发生，首先是因为个别野心家作祟，其次是因为暗藏的人民公敌和两面派暗害分子卑鄙地发动对党员的诬告：

　　他们力求以开除党员、迫害党员来显示自己和抬高自己，他们力图用不分青红皂白地迫害党员的办法来防止自己因警惕性不高而可能受到的责难……这种野心家一心想邀功，所以就竭力散布发现人民公敌的紧张气氛……

　　不难看出，这个决议的口气是比较严厉的。然而它此时所公开批评的还只是各级党组织的错误，尚未把矛头明确指向专门行使镇压职能的内务人民委员部机关。相反，它特意提到有些地方把“很多共产党员开除了党籍，理由是：他们是人民公敌。但是内务人民委员部机关却找不到任何根据去逮捕这些被开除党籍的人”。 1938年1月21日，日丹诺夫在纪念列宁逝世14周年大会上的讲话中还这样宣称：“1937年将载入史册。在这一年我们的党给了形形色色的敌人以毁灭性的打击，我们的党在与人民的敌人的斗争中变得强大了。取得这一成就是由于以尼古拉·伊万诺维奇·叶若夫为首的苏联情报机关得到了加强。”

　　虽然如此，一月全会后对内务人民委员部机关的整治还是不动声色地开始了，叶若夫提拔的人——他的副手们和业务处的处长们一个个遭到了逮捕，中央机关的一些干部则被调进了内务人民委员部。

　　1938年8月，斯大林把贝利亚从第比利斯调到了莫斯科，让他担任内务人民委员部第一副人民委员，做叶若夫的第一副手。这一职务相对于贝利亚原先担任的格鲁吉亚中央第一书记来说是一种降低，除非让贝利亚不久取代叶若夫，否则这项任命既没有多少实际意义，对贝利亚来说也算不得一件好事。不过聪明的贝利亚不会猜不透斯大林的心思，斯大林就这一任命同他谈话时不会不作暗示。叶若夫对斯大林的意图也看得清清楚楚，所以他在给斯大林的信中这样写道：“对贝利亚同志的任命令我不安。我知道这是对我的不信任，然而，我想一切都会过去的。我过去真诚地认为，现在还是这样认为，他是个了不起的工作人员，我认为他能担当人民委员之职。我想，他的任命就是解除我职务的信号。”

　　贝利亚曾拼死保护斯大林

　　那么斯大林为何要用贝利亚来代替叶若夫呢？对此，马林科夫的助手、后任苏共中央主席团办公室主任的苏哈诺夫作过这样的解释：斯大林在对叶若夫失去信任后，便让马林科夫推荐一个人担任内务人民委员部的第一副部长，此人要符合三个条件：要有机关工作经验；有党的工作经验；要能让斯大林本人信任。马林科夫将此事委托给了一位名叫东斯科伊的属下，让他参照干部档案卡片推荐一名人选。东斯科伊提议让贝利亚担当此职，因为贝利亚有在机关和党内工作的经验，而且在一次“暗杀领袖”的事件中曾拼死保护斯大林。但马林科夫建议除贝利亚外再提出6个人选，然后将7人的材料一并送给斯大林。最后斯大林从这7个人当中选了贝利亚。

　　贝利亚的儿子谢尔戈则对斯大林选中贝利亚的原因作过如下解释：首先，“这个相对年轻的人具有在情报部门工作的经验；其次，他将不折不扣地执行领袖的全部命令，即唯命是从；再次，斯大林客观估计那一时期围绕党和他这个党魁个人所形成的紧张局势，对他的路线，尤其是对大规模镇压的不满情绪，就是在他周围最近的圈子里也能感觉得到”。“斯大林明白，继续镇压的结果就是他个人权力的垮台。也许他已认为，有人特意这样做，已是为了要清除他本人。必须有一个人，这个人要在有效监督之下来使党的制度所制造的镇压机器停下来，这个人就是我父亲。他曾雪片般地将信件投向莫斯科，以保护格鲁吉亚的知识分子。总之，那一时期父亲使斯大林完全满意”。

　　斯大林对刚刚调至莫斯科的贝利亚的确很满意，除让他担任内务人民委员部第一副部长外，还让他兼任了该部国家安全总局的局长（包括政治保卫处在内的所有行动处都归这个总局管辖），并授予了他“一级国家安全员”的特别称号，这相当于军队中的大将军衔。

　　叶若夫的日子则越来越不好过了。他意识到不久就要被贝利亚取代，说话做事自然就没了底气，何况远东边疆区内务局长柳什科夫叛逃到日本人占领的满洲地区一事，还把他搞得十分狼狈。到11月，内务人民委员部的命令已由叶若夫和贝利亚两人共同签署，而机关内部工作人员已把贝利亚看作他们真正的主子。

　　1938年11月17日，苏联人民委员会和联共（布）中央做出了《关于逮捕、检察机关的监督和侦讯行动》的决议。“决议”一方面强调在苏联清除各类反动分子的斗争远未结束，另一方面又指出，“内务人民委员部所进行的粉碎和消灭敌对分子的大规模的行动，都是采用了最简单的侦讯和审判办法，这不能不导致在内务人民委员部机关和检察机关的工作中，出现重大的缺点和歪曲事实的现象。不仅如此，人民的敌人和钻进中央以及地方的内务人民委员部机构的外国间谍机关的特务分子，继续进行自己的破坏活动，千方百计地搞乱被侦查的案件和间谍案件，故意歪曲苏联法律，进行大规模的、毫无根据的逮捕，同时保护自己的同伙，尤其是钻入内务人民委员部机关的同伙免于被粉碎。”为了消除这些缺点，“决议”明确做出了8项规定。

　　11月24日，中央政治局作出了《关于免去叶若夫内务人民委员职务的决定》。11月25日，贝利亚接替叶若夫成了新一任苏联内务人民委员。

　　1940年叶若夫被处决，死前曾发誓：“我将喊着斯大林的名字死去。”