據紐約時報報導， 在一宗的法庭案件中， 一名律師（ legal research )時使用了ChatGPT ， 誤傳了錯誤的信息。這一事件給出了警示人工智能在法律領域有潛在風險。
該案件中一名男子因受傷對一家航空公司進行起訴，原告的律師團隊上交了一份簡略的訴訟文件， 使用了幾個之前的法院案例來論述他們的論點，試圖為他們的訴求建立一個法律先例。然而， 被告方的律師發現其中部分引用的案例並不存在， 之後馬上告知主審法官。
主審法官得知後非常震驚，稱其為「前所未有」，並下令要求原告的法律團隊作出解釋。
原告律師之一 Steven Schwarz 對自己使用了 ChatGPT 進行法律文獻檢索做出了承認，在一份書面聲明中， Schwarz 十分懊悔， 說「我以前從未使用過人工智能進行法律文獻檢索，也不知道它的內容可能是虛假的。」
提交給法院的文件中有關於 Schwarz 和 ChatGPT 之間的對話截圖，在對話中 Schwarz 詢問了關於 Varghese v. China Southern Airlines Co Ltd 的案例真實性。 ChatGPT 回覆是肯定的，並表示法律參考數據庫如 LexisNexis 和 Westlaw 中記錄了該案例。然而， 後續結果顯示該案例是假的， 進一步調查顯示， ChatGPT 自主捏造的案例有6個。
鑑於這一事件，來自 Levidow, Levidow & Oberman 律師事務所的兩名涉案律師 Peter LoDuca 和 Steven Schwarz 將在 6月8日的一個紀律聽證會對他們的行為做出解釋，可能面臨停牌。這一事件引發了法律界對於人工智能工具在法律研究中適當使用的討論，以及做出相關措施來以防止類似情況發生。
