詹姆斯·沃西还在北卡加斯托尼亚（Gastonia）的格里尔（Grier）初中上9年级的时候，他的篮球技术已经在当地的报纸崭露头角。上阿什布鲁克（Ashbrook）高中时， 沃西的教练就是鼎鼎大名的北卡教父迪恩·史密斯（Dean Smith）的门生拉里·罗兹（Larry Rhodes）， 之后沃西参加了在北卡教堂山（Chapel Hill）的篮球夏令营。在阿什布鲁克高中的最后一年，沃西以场均21.5分和12.5个篮板顺理成章地入选了全美最佳阵容，但遗憾的是沃西的球队输掉了北卡罗来纳州冠军赛[14] 。
高中毕业后，沃西进入北卡罗来纳州大学，他在大一就成为了该校的一名杰出球员，但由于脚踝扭伤，沃西的大一赛季中途被切断了。与阿尔·伍德和萨姆·帕金斯一起，沃西带领北卡夺得了1981年NCAA亚军。作为一个高年级的大前锋，沃西是北卡校队的得分王，场均得到15.6分，当时的队中还有大一年级生迈克尔·乔丹。1982年，沃西继续入选全美最佳阵容，并与弗吉尼亚大学的拉尔夫·桑普森分享了大学最佳球员奖项。1982年冠军赛对阵乔治城大学，沃西的抢断帮助北卡63-62取胜。那场比赛，沃西17投13中砍下28分4个篮板。他本人也获得了大学篮球最杰出球员奖。他暴扣帕特里克·尤因的照片后来成为了《体育画报》杂志的封面图片。 共4张 大学时期
大二结束，沃西进入NBA被选为状元秀，后来通过夏季学校课程他完成了大学学业，他还是北卡八位获得号码退役殊荣的球员之一。
洛杉矶湖人队在1982年赢得了NBA总冠军， 当时他们的小前锋贾马尔·威尔克斯（Jamaal Wilkes）也是当时联盟里的顶尖小前锋。湖人仍然通过之前的交易获得了1982年选秀的头号选秀权。这个选秀权正来源于湖人和骑士队在1979-80赛季的一单交易：当时湖人用唐·福特（Don Ford）和一个1980年的第一轮选秀权之后骑士挑选了查德·金奇（Chad Kinch）交换了骑士队的布奇·李（Butch Lee）和他们1982年的第一轮选秀权。这个选秀权在1982年会成为头号选秀权，湖人就是用这个选秀权摘取了跳过大学第四年直接进入NBA的沃西。自从湖人在1960年搬到加利福尼亚州以来，沃西只是湖人历史上第二个选秀状元， 第一个就是1979年状元“魔术师”埃尔文·约翰逊。