九五年至九六年球季初，好拍檔奧尼爾因手指公骨裂而缺陣，夏達威初嘗肩負整隊的取勝重任，直至奧尼爾在二十多場後復出。
這次獨挑大樑的夏達威囊括了常規賽首個星期及首個月的最佳球員，可惜，魔術其後於同年季後賽被公牛以四比零拒諸於總決賽門外。在那時開始，鬥志正旺的夏達威便誓言要在自己的第四個 NBA 球季帶領球隊再闖高峰。
可是，被擯出局的打擊仍纏繞在心之時，突然傳來了奧尼爾轉會的消息。七月十八日那天早上，正夕夏達威的二十四歲生日，他回孟菲斯市途中順道往奧尼爾家中共進晚餐。奧尼爾便告訴了好友，自己與湖人隊簽了價值一億二千萬的七年合約。「我真的被嚇呆了，持續了數天不想與任何人交談。」夏達威訴說自己當時的反應。
夏達威生日後的幾天，他才有心情開生日派對，但心裡正想著稍後的奧運會將成為了他與最好的拍檔的歡送會。雖然夏達威在九六年奧運會中盡力為美國羸取了一枚金牌，但卻失去了一位最好的隊友。他說：「我知道比賽一旦完結後，便立即要催谷自己，因為自己已是魔術的命脈。」
事實證明夏達威才是魔術首個當選為 NBA 全年最佳陣容的球員，也是奧蘭多魔術隊最受球迷歡迎的一個，如今，這對昔日的好拍檔各自追尋夢想了。
1996 年，夏達威入選亞特蘭大奧運夢幻三隊，這是他生涯的另一個高峰。挾著連續 NBA 第一隊之威名，夏達威在奧運隊中依然是呼風喚雨，能攻能傳，助攻數僅次於夢幻隊友史托頓﹝John Stockton﹞。比賽中多次俐落的切入，以及令人瞠目結舌的灌籃，更像在向世人宣示他不可限量的未來。
這一年，正好也是夏達威籃球生涯的分水嶺。之前說了奧尼爾西進洛杉機湖人隊，球隊現在是屬於夏達威的了，然而，這原先是夏達威可以證明自己的一年，卻不幸因傷大幅削減戰力，這平均 20.5 分、4.5 籃板、5.6 助攻，成績小幅下降，表現不如預期；隔季，出賽數更是因傷只剩 19 場，平均 16.4 分、4 籃板、3.6 助攻，投籃命中率還降到生涯新低的 37.7%，無力再創高峰。到底夏達威是因奧尼爾而貴，還是被傷剝奪了競爭力？沒有奧尼爾在場上的影響力，球隊的整體戰力提升還會如此明顯嗎？這位公認的潛力十足的球星，已經沒有能力去證實。
二月十九日， NBA 各大球會交易的期限，魔術與網隊及太陽交換夏達威的傳言不攻自破。翌日，夏達威打破一貫沉默的作風，向傳媒發表對球會忠心耿耿的宣言：「當一切未落實之前，不容許我作義無反顧的表態，因為萬一有機會被換走，我對球會的效忠只是一廂情願的想法。」「現在我可以告訴大家，自奧尼爾離開的一刻，我已清楚自己要付出何等大的代價。既然成為了球隊存亡的決定因素，我是不會眼巴巴看著它的沉沒的。」
其實，空穴來風，未必無因。在過去的兩個球季，夏達威因左膝傷患而缺陣五十場之多，令魔術陷於苦戰之中，成績一落千丈。於九六年十一月，夏達威接受第一次手術，可是未見成效，在手術後的一個月再度返回傷兵之列，其後只有忍痛完成餘下的球季賽事。在這個球季中段，又有傳聞他與教練白賴仁希爾意見不合，導致球會辭退其教練一職。
踏入另一個球季，新官上任，魔術由戴利（兩屆冠軍底特律活塞時代的主教練）領軍。可是在面對活塞的一仗中，夏達威因交失了一球而遭戴利責罵，隨之夏達威亦告舊患復發。
由於不滿第一次於奧蘭多接受手術的治療，所以他於十二月決定遠赴侯斯頓求醫。在當地接受膝蓋的第二次手術後，因想更快完全康復，夏達威留了下來養傷兩個月，被指漠視受傷球員需與球隊一起並在比賽時出席於後備席的慣例，令戴利再感不滿。
手術後的復出期間，夏達威舊患復發，需要反覆退回後備席。而且在紐約舉行的明星賽，夏達威得全場最少的十二分鐘的出場時間，令其光芒給一眾新星比了下去。其後他更擅作主張，向外公佈不會出席魔術餘下的賽事，他此舉更令戴利更感不滿，與教練不和的傳聞更不斷傳出。於是再有傳聞夏達威下季將會被送到其他球隊，但夏達威即時澄清他和教練沒有不和，更非常尊重戴利教練。而魔術隊因沒有了夏達威的助陣，而缺席了季後賽。
其實，夏達威是一個非常全面的星級球員，奧蘭多的球迷亦希望他能留下，更希望他的傷勢不會影響他日後的表現！由此可見夏達威在球迷們心目中的地位。
接下來的縮水球季，夏達威成績也跟著縮水。這一年是很奇怪的一季，魔術隊眾將官成績都下降，只跑出一個戴利岩士唐﹝Darrell Armstrong﹞，球隊卻在戴利教練﹝Chuck Daly﹞的運籌帷幄下以東區第三順位進入季後賽。不過榮耀僅止於此。首輪對上艾佛遜﹝Allen Iverson﹞領軍的七六人，讓艾佛遜主宰了整個系列，夏達威幾乎沒有什麼影響力，表現好壞都不對結果造成什麼影響。
在遭到這次的羞辱下，魔術隊意識到該有大變動了。總教練戴利在身心俱疲下離職，夏達威也聲稱不再回魔術隊。在不久之後，魔術隊終於作出行動了，就是將夏達威轉會到鳳凰城太陽隊。而太陽隊更在後來得到了積臣傑特 ( Jason Kidd )，與夏達威成為 NBA 黃金後場組合。在眾人認為太陽隊定必成為西岸強隊，有力挑戰 NBA 總冠軍。但夏達威由於膝傷問題，而遲遲未能上場作賽，令太陽城鳳凰隊久久不能擠身強隊之列。
後來勉強在出賽幾場之後，夏達威又再次進入傷兵名單中。但願他能夠回復昔日的光采，替球隊及自己挽回名聲！