1982(33) 1月30日、SNL出演。バックステージのエルヴィスを演じる。 3月15日、SNLでジェリー・ローラーとの試合のビデオを流しながら論じる。 デヴィッド・レターマンの朝の番組に出演後、10回にわたって"Late Night with David Letterman"に出演。 4月5日、メンフィスのミッドサウスコロシアムで、ついにジェリー・ローラーと対戦。 ジェリーのパイルドライバーでアンディは頚椎に損傷を受け入院。 7月28日、ジェリー・ローラーと共に"Late Night with David Letterman"に出演。 番組中、ジェリーと口論になり、ジェリーに顔をビンタされ椅子から転げ落ちる。大声で罵りスタジオから飛び出す際、ジェリーにコーヒーをかける。 "My Breakfast with Blassie"を"Sambo's"で撮影。制作費は98ドル。この撮影中にガールフレンド、リン・マーグリースと出会う。 8月14日、カナダに飛び、"The Fantastic Miss Piggy Show"にトニー・クリフトン出演。これがトニーとしてのアンディの最後の出演となった。 11月20日、SNLのアンディの出演を視聴者の電話投票に委ね、195,544票対169,186票で負け、SNLへの復帰の道を断たれる。

1983(34) 1月22日、SNLでアンディに投票してくれた人への感謝を述べるVTRが放送される。これ以降、SNLのアンディの出演はない。 アンディのレスリングのキャリアが"I'm from Hollywood"としてドキュメントムービーになる。 アンディの長年のジェリー・ローラーに対する戦いへの執念が記録されている。 アンディのレスリングに対する激しい世間の批判が、ジョージ・シャピロがアンディの仕事を取ってくることをますます困難にしていく。SNLを視聴者投票によって降番させられたこともあり、TVへの出演も難しくなっていた。デヴィッド・レターマンだけが、唯一アンディを雇い続けた。 112回の放送をもって"Taxi"が打ち切りに。 ブロードウェーで上演されるイギリスの芝居"Teaneck Tanzi: The Venus Flytrap"への出演にサインし、何週間も稽古をしたが、上演初日から批評家に徹底的に叩かれ、二日目に上演は終了。 PBS、"The Soundstage"で"The Andy Kaufman Show"を放送。あからさまな和解の試みとして、アンディーの仲間としてトニーの操り人形を登場させることでトニーへの敬意を表わす。 12月、以前からしつこく続く咳のため病院の診察を受け、肺の大細胞癌と診断される。余命はおよそ3ヶ月との宣告を受ける。

1984(35) 1月26日、最後のテレビ出演。"The Top"にホストとして出演し、シンディ・ローパーの初のテレビ出演の紹介をした。 3月20日、"My Breakfast with Blassie"のプレミアがカリフォルニア、ウェストウッドのNuart Theatreにて行われる。 3月21日、メスを使わず病気の悪い部分を取り出す、という超能力治療を受けるため、リンと共にフィリピンへ行き、数回にわたる治療（と呼ばれるもの）を受ける。 4月下旬、アメリカに帰国。 5月16日、L.A.シーダーズ・サイナイ病院で、アンディ・カフマンが35才で肺癌により死去したという報道が伝えられる。