ChatGPT kinuha ang mundo sa pamamagitan ng bagyo, nakasisilaw na mga tao sa kanyang mahusay magsalita, nuanced natural na henerasyon ng wika. Ngunit habang kahanga-hanga sa ibabaw, ang pagsilip sa ilalim ng talukbong ay nagpapakita ng mga kapansin-pansing kahinaan.
Sa post na ito, aalisin namin ang mga panloob na gawain ng mga malalaking modelo ng wika (LLMs) tulad ng ChatGPT. Ang aking layunin ay isang awtoritatibong pagsusuri na naghihiwalay sa katotohanan mula sa kathang-isip tungkol sa mga kamakailang pagsulong ng AI.
Paano Gumagana ang mga LLM: Pag-unawa sa Kanilang Sabay-sabay na Pangako at Limitasyon
Kaya ano nga ba ang mga LLM at kung paano gusto ng mga modelo ChatGPT umaandar? Sa maikling sabi:
- Kumakain ang mga LLM ng napakalaking dataset ng text, na nagbibigay-daan sa kanila na mahulaan ang napakahusay na wika ng tao
- Ngunit hindi tulad ng mga tao, ang mga LLM ay walang pag-unawa, pangangatwiran, at katotohanang batayan tungkol sa totoong mundo
- Kaya't bagama't nakakagawa sila ng magandang pinakintab na teksto, madalas silang kulang sa pagkakaugnay-ugnay, katumpakan, o maayos na lohikal na pundasyon
Tuklasin natin ang mga mekanika at limitasyon ng mga LLM nang mas malapit...
Hindi Talagang Nauunawaan ng mga LLM ang Mga Salitang Binubuo Nila
Ang susi sa pag-unawa sa mga lakas at kapintasan ng LLM ay nakasalalay sa kanilang pamamaraan ng pagsasanay:
- Gumagamit sila ng hanggang daan-daang bilyong salita mula sa mga website, aklat, artikulo, at higit pa
- Sa pamamagitan ng pag-detect ng mga pattern ng salita, natututo sila ng mga probabilidad tungkol sa mga potensyal na sequence
- Nagbibigay-daan ito sa kanila na makabuo ng mga bagong kumbinasyon na umaayon sa mga pattern ng linguistic na iyon
Gayunpaman, walang naka-encode na kahulugan na nakalakip sa mga salitang iyon. Mga hinulaang sequence lang batay sa mga naunang halimbawa.
Kaya habang mahusay magsalita, walang tunay na pag-unawa o pangangatwiran na nangyayari sa likod ng mga eksena. At iyan ay nagpapaliwanag sa marami sa mga LLM's' glaring factual errors at logical gaps.
Ang mga LLM ay Walang Grounding sa Tunay na Mundo
Higit pa rito, dahil ang mga LLM ay kumukuha lamang ng text corpora sa panahon ng pagsasanay, kulang sila ng tunay na kaalaman tungkol sa kung paano gumagana ang katotohanan.
Kaya ang anumang "katotohanan" o "kaalaman" na ipinapakita ng mga modelo tulad ng ChatGPT ay mababaw at hindi tumpak - pinagsama-sama mula sa mga pattern ng salita sa halip na batay sa katotohanan.
Ang kakulangan ng pangangatwiran at makatotohanang mga pundasyon ay nagpapaliwanag ng kilalang-kilalang hindi tama o walang katuturang mga pahayag ng mga LLM. Ang kanilang mga tugon ay maaaring mukhang kamangha-mangha ngunit kadalasan ay ganap na kathang-isip.
Walang Pare-parehong Pagkakakilanlan o Sistema ng Paniniwala
Sa wakas, ang mga LLM ay kulang din ng patuloy na pagkakakilanlan na nagbubuklod sa mga tugon:
- Ang mga tao ay nagkakaroon ng magkakaugnay na paniniwala at integridad sa mga paksa sa paglipas ng panahon
- Gusto ng mga LLM ChatGPT bumuo ng bawat tugon nang nakapag-iisa nang walang pare-pareho
- Kaya makakakita ka ng mga tahasang kontradiksyon habang sinisiyasat mo ang mga ito sa mga tanong
Sa paghihiwalay, maaaring mukhang magkakaugnay at matalino ang mga output ng LLM. Ngunit itulak pa at ang kanilang mga bahid ay nagiging maliwanag.
Pangwakas na Kaisipan: Sinusukat ang Optimism sa Harap ng Hype
Ang mabilis na pag-unlad sa natural na wika AI ay kahanga-hanga. Sa makitid na mga application, tulad ng mga tool ChatGPT ipakita ang pangako.
Gayunpaman, ang napalaki na mga claim sa paligid ng katalinuhan sa antas ng tao ay tila napaaga. Malayo na ang narating ng mga LLM, ngunit nahaharap pa rin sa mga pangunahing hadlang kaugnay ng biological cognition.
Ang kaguluhan ay ginagarantiyahan, ngunit ang hype ay dapat na mapawi. Ang landas sa hinaharap ay nananatiling mahaba, ngunit ang mga LLM ay nagbibigay ng isang maliit na sulyap sa mga posibilidad sa hinaharap.