ابزارهای اطلاعاتی مصنوعی حقوقی وعده را در اولین مطالعه استاندارد از نوع خود ، با رهبری بسته هاروی و کونکونل نشان می دهد

آیا هنوز در مورد این موضوع هستید که آیا هوش مصنوعی سالن بدنسازی می تواند کار وکلای انس، را انجام دهد؟ اگر چنین است ، من از شما می خواهم که این مطالعه جدید را بخو،د.

این مطالعه اول نوع خود را منتشر کرد و عملکرد چهار ابزار حقوقی هوش مصنوعی را از طریق هفت وظیفه اساسی قانونی ارزیابی کرد. در بسیاری از موارد ، من دریافتم که ابزارهای هوش مصنوعی می توانند در سطح یا بالاتر از وکلای انس، رهبری کنند ، در حالی که زمان پاسخ بسیار سریع تری را ارائه می دهند.

گزارش Vals Legal AI (VLAIR) اولین تلاش سیستماتیک برای تعریف مستقل ابزارهای حقوقی AI در برابر کانون وکلا ، با استفاده از کارهای واقعی حاصل از قانون 100 AM است.

وی ابزارهای هوش مصنوعی چهار فروشنده را ارزیابی کرد – هاروی ، تام، رویترز (Coconsel) ، Vlex (Vincent AI) ، Vecflow (الیور) – در کارهایی از جمله عصاره سند ، سؤال و پاسخ اسناد ، خلاصه ، ترتیب ، تجزیه و تحلیل متن ، تولید ج، زم، و تحقیقات Edgar.

Lexisnexis در ابتدا در این اندازه گیری شرکت کرد ، اما پس از نوشتن گزارش ، وی تصمیم گرفت از کلیه کارهایی که در آن شرکت کرده بود ، به جز تحقیقات حقوقی برداشت. نتایج حاصل از اندازه گیری حقوقی تحقیقات در یک گزارش جداگانه منتشر می شود.

نتایج اصلی

دستیار هاروی به ،وان یک عملکرد برجسته ظاهر شده و به بالاترین نمرات در پنج مورد از شش وظیفه ای که در آن شرکت کرده است ، از جمله میزان دقت 94.8 ٪ چشمگیر برای سند پرسش و پاسخ است. هاروی از عملکرد وکالت در چهار کار فراتر رفت و با خط بنیاد در تولید دنباله زم، مطابقت داشت.

(هر فروشنده می تواند هر یک از مهارتهای ارزیابی شده را که می خواهند انتخاب کنند انتخاب کند.)

در این گزارش آمده است: “سکوی هاروی از مدل ها برای ارائه کمک های با کیفیت بالا و قابل اعتماد به متخصصان حقوقی بهره می برد.” “هاروی به چندین مدل LLM و سایر مدل ها بستگی دارد ، از جمله مدل های سفارشی که با همکاری OpenAI در فرآیندهای قانونی و داده آموزش دیده اند ، با هر تحقیق از سیستم که شامل 30 تا 1500 تماس معمولی است.”

Coconsel از T،mson Reuteers تنها فروشنده ای بود که ابزار هوش مصنوعی را به دست آورد تا بالاترین 77.2 ٪ را برای خلاصه ، اسناد بدست آورد-و به طور مداوم بین ابزارهایی با عملکرد بالاتر از طریق هر چهار کار که در آن شرکت کرده اید ، طبقه بندی می شود ، با درجه های مختلف از 73.2 ٪ تا 89.6 ٪.

بنیاد یک وکیل (نتایج حاصل از کانون وکلا) از ابزارهای هوش مصنوعی در دو وظیفه پیشی می گیرد – تحقیقات ادگار (70.1 ٪) و بازگرداندن مجدد (79.7 ٪) ، نشان می دهد که این مناطق ممکن است حداقل ، حداقل ، حداقل ، از نظر انسان من، باشد. در مجموع ، ابزارهای هوش مصنوعی از وکیل در تجزیه و تحلیل اسناد ، بازیابی اطلاعات و است،اج داده ها فراتر رفته است.

شاید تعجب آور نباشد ، این مطالعه تفاوت زیادی در زمان پاسخ بین هوش مصنوعی و انس، نشان داد. این گزارش نشان می دهد که ابزارهای هوش مصنوعی “شش برابر سریعتر از وکلا در پایین ترین پایان و سریعترین 80 بار در بالاترین سطح” بوده و باعث می شود یک مسئله قوی از ابزارهای هوش مصنوعی به ،وان موتورهای کارآمد در گردش کار قانونی باشد.

در این گزارش نتیجه گرفته شده است که “سیستم های اطلاعاتی مصنوعی خیلی سریع پاسخ می دهند تا آنها بتوانند نکات مفیدی برای وکلا بتوانند کار خود را با کارآمدتر شروع کنند.”

در این گزارش آمده است که دستیار هاروی به طور مداوم سریعترین است ، زیرا Coconsel نیز “به طور غیرمعمول سریع” بود ، که هر دو در کمتر از یک دقیقه پاسخ می دهند.

اما وی همچنین گفت که وینسنت هوش مصنوعی “پاسخ ها را به سرعت به ،وان یکی از سریعترین محصولاتی که ما ارزیابی کردیم ، به سرعت داد.”

مشخص می شود که الیور کندتر است و اغلب برای هر پرس و جو پنج دقیقه یا بیشتر طول می کشد. در این گزارش آمده است که این احتمالاً به دلیل پیشرفت عامل الیور است که وظایف را به چندین مرحله می شکند.

یک عملکرد خاص برای فروشنده

هاروی ، که سریعترین فناوری حقوقی در فضا است (پس از جمع آوری بیش از 200 میلیون دلار و از زمان بنیاد آن در سال 2022 به موقعیت فی، رسیده است) ، او کارهای بیشتری را نسبت به سایر فروشنده ها انتخاب کرد و بالاترین نمرات را در سند پرسش و پاسخ ،ب کرد ، نجات اسناد ، تجزیه و تحلیل مجدد ، تجزیه و تحلیل کپی و نسل کرون.

در این گزارش آمده است: “دستیار هاروی در پنج وظیفه یا از بنیاد وکالت ی،ان است یا از این کار بهتر است و از ابزارهای دیگر هوش مصنوعی در چهار کار ارزیابی شده بهتر عمل می کند.” “دستیار هاروی همچنین در تمام وظایف ارزیابی شده در مطالعه ، دو مورد از بالاترین سه درجه را ،ب کرد ، برای سند پرسش و پاسخ (94.8 ٪) و تولید دنباله زم، (80.2 ٪ – مطابق با خط وکالت).”

این مطالعه نشان داد که Coconsel 2.0 از تامسون رویترز به چهار کار ارائه شده است ، و این مطالعه به خوبی انجام شده است ، زیرا به طور متوسط ​​نمره 79.5 ٪ نسبت به چهار کار ارزیابی شده – بالاترین درجه متوسط ​​در مطالعه – به دست آورد. این ماده به ویژه در سند سؤال و پاسخ (6 /89 ٪) و خلاصه اسناد (77.2 ٪) متمایز شد.

در این مطالعه آمده است: “Coconsel بیش از 10 امتیاز از وکیل دادگستری در این چهار وظیفه فراتر رفت.”

Vincent AI از Vlex در شش وظیفه شرکت کرد – دوم پس از تعدادی از کارها – با درجه ای از 53.6 ٪ تا 72.7 ٪ ، از پایه و اساس وکیل پرسش و پاسخ در سند ، خلاصه ، اسناد و تجزیه و تحلیل متن استفاده کرد.

در این گزارش آمده است که طراحی وینسنت هوش مصنوعی به دلیل توانایی آن در نتیجه گیری زیرکیل من، برای اجرای بر اساس سؤال کاربر قابل توجه است و پاسخ های وی ارائه شده “بسیار جامع” بود.

عجیب است (معتقدم) ، گزارش در مورد وینسنت AI از امتناع وی از پاسخ دادن به سؤالات هنگامی که داده کافی برای پاسخ دادن ندارد ، ستایش کرد ، به جای دادن پاسخ توهم. اما در این گزارش آمده است که این رد پاسخ منفی بر درجات آن تأثیر گذاشته است.

الیور ، که سپتامبر گذشته از Vecflow منتشر شد ، در این گزارش به ،وان “بهترین ابزار هوش مصنوعی” در مأموریت تحقیقات دشوار ادگار توصیف شد. این ممکن است به نظر برسد ، زیرا این تنها ابزار هوش مصنوعی برای شرکت در این کار بود. 55.2 ٪ در برابر وکیل پایه 70.1 ٪ ثبت شده است.

این گزارش ، رویکرد “کار والدین” الیور را به ،وان پتانسیل برای کارهای پیچیده تحقیق که نیاز به چندین مرحله و تصمیم گیری های تکراری دارند ، برجسته می کند و گفت که در توضیح علل و اقدامات آن در طول کار ، عالی است.

در این گزارش آمده است: “الیور برای هر کاری که انتخاب کرده بود ، حداقل از یک محصول دیگر پیشی گرفت.” “الیور همچنین از مبنای وکالت ، سؤال ، پاسخ و خلاصه اسناد ، بهتر عمل کرد.”

روش شناسی

این مطالعه با همکاری LegalTech Hub و یک فدراسیون حقوقی از جمله Red Smith ، Fisher Philips ، McDermott Will & Emery و Ogetree Deakins به همراه چهار شرکت ناشناخته انجام شد. یک کنسرسیوم مجموعه ای از داده ها را ایجاد کرده است که شامل بیش از 500 نمونه است که منع، کننده وظایف قانونی در دنیای واقعی است.

VALS AI یک چارچوب ارزیابی خودکار برای ارائه ارزیابی ثابت از طریق کارها ایجاد کرده است. این مطالعه نشان می دهد که گروه نظارت وکالت “کور” بوده است – وکلا نمی دانستند که بخشی از مطالعه مطالعه هستند و به ،وان درخواست های معمولی مشتری ، وظایف هماهنگ را دریافت ،د.

تارا واترز در حال ارائه پروژه Vals AI بود.

روندهای آینده

این گزارش حاکی از آن است که این معیار اولین تکرار آنچه او می گوید ارزیابی منظم از ابزارهای هوش مصنوعی در صنعت حقوقی خواهد بود ، با برنامه ریزی برای تکرار این مطالعه سالانه و اضافه ، دیگران. تکرارهای آینده ممکن است شامل فروشندگان بیشتر ، کارهای اضافی و پوشش کشورهای قضایی بین المللی باشد که از تمرکز فعلی ایالات متحده فراتر رود.

در این گزارش آمده است: “از طریق صنعت حقوقی روشهای یکپارچه ، اندازه گیری و یک زبان مش، برای ارزیابی ابزارهای هوش مصنوعی ، یک حرکت فزاینده وجود دارد.”

نیک، چاور و جروین چشمک از مرکز LegalTech به “مشارکت آنها در ادراک و طراحی مطالعه و جمع آوری مجموعه ای با کیفیت بالا از فروشندگان و وکلا” اعتبار داده شدند.

“به طور کلی ، نتایج این مطالعه از این نتیجه گیری پشتیب، می کند که این ابزارهای اطلاعاتی مصنوعی برای وکلا و موسسات حقوقی ارزش دارند ،” این مطالعه نتیجه گرفت که جایی برای بهبود چگونگی ارزیابی این ابزارها و عملکرد آنها وجود دارد. “