在苦练英语的最初阶段，赖世雄也曾遇到挫折。在跟着唱片和教材练习口语两个星期后，他曾跟随同学曹近曦前往附近一所学校旁听美籍牧师讲解圣经。课上，牧师让每个学生念一段圣经。“在座的学生都能顺畅地朗诵。只有我几乎无法读完一个整句。满眼的生词和生疏的语法结构让我很茫然。最后，在曹近曦的帮助下，我才勉强结结巴巴地念完了一段。此时，尴尬还未结束。讲课中，不知牧师说了什么，只引得同学哄堂大笑，我也跟着笑了起来。这时，牧师毫不客气地问我笑什么。我却回答不出，当时，我只想找个地缝钻进去。”赖世雄回忆道。

　　在矫正发音的同时，赖世雄还尝试着阅读原版《读者文摘》。起初，为了弄懂文章中每个生词的意思，他常常花费大量时间翻阅词典，阅读效率很低。经过近一个月的摸索，赖世雄逐渐改变了低效的阅读习惯，将通读文章获取信息视作首要目标，并且有意识地学习文章的谋篇布局，在完成这一步骤后，才进入精读阶段，扫除生词、句句攻破。

　　《读者文摘》不仅是赖世雄锻炼阅读能力的材料，也是他练习口语表达的素材。完成精读步骤后，赖世雄便开始尝试“调动”已掌握的和新学的词汇复述文章内容。刚开始时，赖世雄不是找不到合适的词语表达;就是顾了表达而忽视了语法规则。通常，他要在阅读文章近20遍后，才能勉强完成复述，语言不仅带有强烈的中文表达的烙印，词汇的运用也很不地道。尽管困难重重，赖世雄并未灰心。他告诉自己，在最初阶段，要想说出准确而且地道的英文几乎是种妄想，能开口说英语才是关键的第一步。

　　每逢周一，军校都要召开例行晨会。对大部分学生来说，顶着烈日，站着军姿，听着台上领导的讲话，是每周必经的痛苦过程。然而，赖世雄却有“化痛苦为快乐”的能力。在他看来，校长的讲话就是练习翻译的好素材，晨会是练习口译的好时机。台上领导每说一句，赖世雄便琢磨着如何翻译，遇到难翻的词组便记下，等晨会结束立刻回教室查阅汉英词典。除了《读者文摘》，赖世雄还时常翻阅台湾当地的英文报纸。大二时，尽管英语水平有了明显提高，但要在一天内消化报纸中所有的文章对赖世雄来说仍是一大挑战。在读报的最初阶段，他常选择少量自己感兴趣的新闻，用笔圈出，逐段学习。尽管有时每天只能消化一、两篇文章，他也并不急于求成，学习力求稳扎稳打。经过一年的坚持，到了大三下学期，赖世雄已可以每天阅读一个整版的文章了。

　　不仅仅是阅读英文报纸，赖世雄还在大三时参与了新闻系英文系报《先锋报》的新闻采写和编辑工作。系报的新闻主要由学校所在地的地区新闻和校园活动新闻构成，前者主要是编译稿，而校园新闻则由编辑小组采写。由于白天课时紧，赖世雄只得见缝插针进行采访，利用晚间写稿。每周六8点前，他都要与曹近曦赶往当地一家英文报社，借用其打字机打稿，并等待报纸印刷。大四时，为了在军校营造英语学习的气氛，赖世雄还倡议创立了外文社和会话班，召集爱好英语的同学一道分享学习经验。

　　自从迷恋上英语之后，为了获得“实践”的机会，赖世雄常做出一些“荒唐可笑”之举，其中之一便是免费为老外洗车，练习口语。原来，距离政战大学不远，有个名为天母的地区，那里居住着大量美军家属，由于家家户户几乎都有汽车，当地的洗车生意很旺。于是，赖世雄决定通过提供免费洗车服务换得与老外交流的机会。在实施洗车计划的头两周，当地住户让他连吃“闭门羹”，对他的“奇怪举动”不予理睬，直到第三周才有一个美国军官开门接待了他。进了屋，赖世雄便换上“工作服”，拿出抹布和清洗剂利索地擦洗汽车，一边主动与美国房主攀谈起来。他们就这样随意地聊天，想到什么说什么。除了家长里短，他们有时还交流阅读《读者文摘》的心得。除了洗车，赖世雄还常“想尽办法”与当地美军搭话，有时故意轻撞一下对方，说声“Excuse me.”，借机与对方交流。为了练习刚学的单词，有时他还索性“无俚头”地“制造话题”。一次，在台北火车站附近，他见一个美国士兵斜靠墙站着，忽便想起刚学过的单词lean，于是，他上前向对方说了句：“Don’t lean against the wall.”结果，那士兵立刻挺直了腰板，还向赖世雄再三道歉。