Limitations of Chat-GPT in Punjabi Language

Press Note

An important study by Punjabi University Patiala on the performance of Chat-GPT in Punjabi Language

Patiala:- August 5 (Correspondent):- AI based Chat-GPT software is much talked about these days. While its performance in English language is being extolled but at the same time the concerns are raising about its performance in regional languages. Some are deeming it as a precious gift of science and technology and others are blaming it for making humans useless. To remove these doubts Dr. C P Kamboj from dept. of Punjabi,  Punjabi Computer Help Centre, Punjabi University Patiala has conducted a study and came up with the fact that Chat-GPT is successful up to 80% in the field of short questions but scored merely 8% in long questions. Punjabi Computing author and Columnist Dr. C P Kamboj informed that he with his team tested Chat-GPT 3.5 relating to various questionnaires through Bing search engine. These questionnaires included 300 sample questions related to History, Health, Games, Computer, Maths, Current Affairs, Space, Linguistics, Environment etc. in Punjabi, Hindi and English and Chat-GPT scored 67%, 80% and 98% respectively. Likewise, 80% in Patwari exam (PSSSB), 83% in Punjabi Computing (PU Patiala), 93% in Maths Vth class (PSEB) and scored the least 8% in Computer Knowledge of Punjabi Language (AU Talwandi Sabo). Dr. Kamboj stated there are two reasons of disappointment in long questions, one is underdevelopment of Punjabi Language Translation Model and the other is lack of sufficient Punjabi text available on Internet. So if we want to take maximum benefit from Chat-GPT and other AI tools; Press Correspondents, Authors, Columnist, Poets et al have to upload unabated soft form of Punjabi text via Blogs, Wikipedia pages, websites etc. Readers can go through a research Paper by Dr. Kamboj published in peer reviewed research journal 'Samvad' (July-December, 2023) or can login to his blog www.cpkamboj.com. Prof. Arvind, Vice-Chancellor of Punjabi University Patiala, congratulated Dr. C P Kamboj for this important study and research.

 

ਪੰਜਾਬੀ ਭਾਸ਼ਾ ਵਿੱਚ ਚੈਟ-ਜੀਪੀਟੀ ਦੀ ਗੁਣਵੱਤਾ ਉੱਤੇ ਸਵਾਲੀਆ ਨਿਸ਼ਾਨ

ਚੈਟ-ਜੀਪੀਟੀ ਦੀ ਪੰਜਾਬੀ ਵਿੱਚ ਗੁਣਵੱਤਾ ਬਾਰੇ ਪੰਜਾਬੀ ਯੂਨੀਵਰਸਿਟੀ ਵੱਲੋਂ ਅਹਿਮ ਅਧਿਐਨ

ਪਟਿਆਲਾ:- 5 ਅਗਸਤ (ਪੱਤਰ ਪ੍ਰੇਰਕ):- ਮਸ਼ੀਨੀ ਬੁੱਧੀ ਆਧਾਰਿਤ ਚੈਟ-ਜੀਪੀਟੀ ਨਾਮਕ ਸਾਫਟਵੇਅਰ ਪਿਛਲੀ ਛਿਮਾਹੀ ਤੋਂ ਕਾਫ਼ੀ ਚਰਚਾ ਵਿਚ ਹੈ। ਜਿੱਥੇ ਅੰਗਰੇਜ਼ੀ ਵਿੱਚ ਇਸ ਦੀ ਚੰਗੀ ਕਾਰਗੁਜ਼ਾਰੀ ਦੀ ਚਰਚਾ ਹੈ ਉੱਥੇ ਖੇਤਰੀ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਇਸਦੇ ਮਾੜੇ ਨਤੀਜਿਆਂ ਨੂੰ ਲੈ ਕੇ ਚਿੰਤਾ ਜਤਾਈ ਜਾ ਰਹੀ ਹੈ। ਕਈ ਇਸ ਨੂੰ ਵਿਗਿਆਨ ਤੇ ਤਕਨਾਲੋਜੀ ਦਾ ਇਕ ਅਨਮੋਲ ਤੋਹਫ਼ਾ ਮੰਨ ਰਹੇ ਹਨ ਤੇ ਕਈ ਇਸ ਉੱਤੇ ਮਨੁੱਖ ਨੂੰ ਨਕਾਰਾ ਬਣਾਉਣ ਦਾ ਦੋਸ਼ ਲਾ ਰਹੇ ਹਨ। ਇਨਾਂ ਖਦਸ਼ਿਆਂ ਨੂੰ ਦੂਰ ਕਰਨ ਲਈ ਪੰਜਾਬੀ ਯੂਨੀਵਰਸਿਟੀ ਪਟਿਆਲਾ ਦੇ ਪੰਜਾਬੀ ਵਿਭਾਗ, ਪੰਜਾਬੀ ਕੰਪਿਊਟਰ ਸਹਾਇਤਾ ਕੇਂਦਰ ਦੇ ਅਧਿਆਪਕ ਡਾ. ਸੀ ਪੀ ਕੰਬੋਜ ਨੇ ਇਸ ਬਾਰੇ ਇੱਕ ਗਹਿਰਾ ਅਧਿਐਨ ਕੀਤਾ ਹੈ। ਡਾ. ਕੰਬੋਜ ਵੱਲੋਂ ਕੀਤੇ ਵਿਸਤ੍ਰਿਤ ਅਧਿਐਨ ਵਿੱਚ ਇਹ ਗੱਲ ਸਾਹਮਣੇ ਆਈ ਹੈ ਕਿ ਇ ਸਾਫਟਵੇਅਰ ਨੇ ਪੰਜਾਬੀ ਵਿੱਚ ਪੁੱਛੇ ਛੋਟੇ ਉੱਤਰਾਂ ਵਾਲੇ ਸਵਾਲਾਂ ਵਿੱਚ 80 ਫੀਸਦੀ ਪਰ ਵੱਡੇ ਉੱਤਰਾਂ ਵਾਲੇ ਸਵਾਲਾਂ ਵਿੱਚ ਇਹ ਮਸਾਂ 8 ਫੀਸਦੀ ਅੰਕ ਲਏ ਹਨ। ਪੰਜਾਬੀ ਕੰਪਿਊਟਰਕਾਰੀ ਦੇ ਲੇਖਕ ਤੇ ਕਾਲਮਨਵੀਸ ਡਾ. ਸੀ ਪੀ ਨੇ ਦੱਸਿਆ ਕਿ ਉਨ੍ਹਾਂ ਦੀ ਟੀਮ ਨੇ ਬਿੰਗ ਸਰਚ ਇੰਜਣ ਉੱਤੇ ਚੈਟ-ਜੀਪੀਟੀ 3.5 ਉੱਤੇ ਵੱਖ-ਵੱਖ ਖੇਤਰਾਂ (ਇਤਿਹਾਸ, ਸਿਹਤ, ਖੇਡਾਂ, ਕੰਪਿਊਟਰ ਗਣਿਤ, ਚਲੰਤ ਮਾਮਲੇ, ਪੁਲਾੜ, ਭਾਸ਼ਾ ਵਿਗਿਆਨ, ਵਾਤਾਵਰਣ ਵਿਗਿਆਨ ਆਦਿ) ਦੇ ਪ੍ਰਸ਼ਨ-ਪੱਤਰ ਪਾ ਕੇ ਇਮਤਿਹਾਨ ਲਏ। ਇਨ੍ਹਾਂ ਇਮਤਿਹਾਨਾਂ ਵਿਚ ਪੰਜਾਬੀ ਹਿੰਦੀ ਤੇ ਅੰਗਰੇਜ਼ੀ ਦੇ 300 ਨਮੂਨੇ ਦੇ ਸਵਾਲ ਸ਼ਾਮਿਲ ਸਨ ਜਿਨ੍ਹਾਂ ਵਿੱਚੋਂ ਚੈਟ-ਜੀਪੀਟੀ ਨੇ ਕ੍ਰਮਵਾਰ 67%, 80% ਅਤੇ 98% ਅੰਕ ਹਾਸਲ ਕੀਤੇ। ਇਸੇ ਤਰ੍ਹਾਂ ਅਧੀਨ ਸੇਵਾਵਾਂ ਬੋਰਡ ਦੇ ਪਟਵਾਰੀ ਦੇ ਪੇਪਰ ਵਿੱਚ 80%, ਪੰਜਾਬੀ ਯੂਨੀਵਰਸਿਟੀ ਦੇ ਪੰਜਾਬੀ ਕੰਪਿਊਟਰਕਾਰੀ ਵਿਸ਼ੇ ਵਿਚੋਂ 83% ਪ੍ਰਤੀਸ਼ਤ ਪੰਜਾਬ ਸਕੂਲ ਸਿੱਖਿਆ ਬੋਰਡ ਦੀ ਪੰਜਵੀਂ ਜਮਾਤ ਦੇ ਗਣਿਤ ਦੇ ਅਭਿਆਸ ਵਿਚੋਂ 93% ਅੰਕ ਹਾਸਲ ਅਤੇ ਅਕਾਲ ਯੂਨੀਵਰਸਿਟੀ ਤਲਵੰਡੀ ਸਾਬੋ ਦੇ ‘ਪੰਜਾਬੀ ਭਾਸ਼ਾ ਦਾ ਕੰਪਿਊਟਰ ਗਿਆਨ’ ਨਾਮਕ ਵਿਸ਼ੇ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਘੱਟ 8 ਫੀਸਦੀ ਅੰਕ ਹਾਸਲ ਕੀਤੇ। ਡਾ. ਕੰਬੋਜ ਅਨੁਸਾਰ ਚੈਟ-ਜੀਪੀਟੀ ਦੇ ਪੰਜਾਬੀ ਭਾਸ਼ਾਈ ਅਨੁਵਾਦ ਮਾਡਲ ਦਾ ਪੂਰੀ ਤਰਾਂ ਵਿਕਸਿਤ ਨਾ ਹੋਣਾ ਤੇ ਇੰਟਰਨੈੱਟ ਉੱਤੇ ਪੰਜਾਬੀ ਦੀ ਪਾਠ ਸਮੱਗਰੀ ਦੀ ਤੋਟ ਕਾਰਨ ਇਸ ਦੀ ਪੰਜਾਬੀ ਦੇ ਵੱਡੇ ਸਵਾਲਾਂ ਵਿਚ ਇਹ ਮਾੜੀ ਕਾਰਗੁਜਾਰੀ ਮਿਲ ਰਹੀ ਹੈ। ਉਨ੍ਹਾਂ ਕਿਹਾ ਕਿ ਜੇਕਰ ਅਸੀਂ ਚੈਟ-ਜੀਪੀਟੀ ਜਾਂ ਇਸ ਵਰਗੇ ਭਵਿੱਖ ਦੇ ਹੋਰ ਏਆਈ ਟੂਲਜ਼ ਦਾ ਆਪਣੀ ਮਾਂ-ਬੋਲੀ ਵਿਚ ਵੱਧ ਤੋਂ ਵੱਧ ਲਾਭ ਲੈਣਾ ਚਾਹੁੰਦੇ ਹਾਂ ਤਾਂ ਸਾਨੂੰ ਇੰਟਰਨੈੱਟ ਉੱਤੇ ਖੁਲ੍ਹੇ ਦਿਲ ਨਾਲ ਸਮੱਗਰੀ ਅਪਲੋਡ ਕਰਨੀ ਪਵੇਗੀ। ਅਜਿਹਾ ਕਰਨ ਲਈ ਪੱਤਰਕਾਰ, ਲੇਖਕ, ਕਾਲਮਨਵੀਸ, ਕਵੀ ਆਪਣੀਆਂ ਰਚਨਾਵਾਂ ਦੇ ਸਾਫਟ ਰੂਪ ਨੂੰ ਹਰ ਹੀਲੇ ਇੰਟਰਨੈੱਟ ਉੱਤੇ ਬਲੌਗ, ਵਿੱਕੀਪੀਡੀਆ ਪੇਜ, ਵੈੱਬਸਾਈਟ ਆਦਿ ਦੇ ਰੂਪ ਵਿਚ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ। ਡਾ. ਕੰਬੋਜ ਨੇ ਜਾਣਕਾਰੀ ਸਾਂਝੀ ਕੀਤੀ ਕਿ ਉਨ੍ਹਾਂ ਦਾ ਇਸ ਅਧਿਐਨ ਬਾਰੇ ਖੋਜ ਪਰਚਾ ‘ਸੰਵਾਦ’ ਨਾਮਕ ਪੀਅਰ ਰੀਵੀਊਡ ਖੋਜ ਰਸਾਲੇ ਵਿਚ ਛਪਿਆ ਹੈ ਤੇ ਪਾਠਕ ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਬਲੌਗ www.cpkamboj.com ‘ਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਇਸ ਅਹਿਮ ਅਧਿਐਨ ਲਈ ਯੂਨੀਵਰਸਿਟੀ ਦੇ ਵਾਈਸ-ਚਾਂਸਲਰ ਪ੍ਰੋ. ਅਰਵਿੰਦ ਨੇ ਡਾ. ਕੰਬੋਜ ਨੂੰ ਵਧਾਈ ਦਿੱਤੀ। 

 

Read Full Article and download Research Paper

Limitations of Chat-GPT, Punjabi Language Research, Chat-GPT software, Language Model, Transformer, AI, Machine Learning, Deep Learning, Prompt Engine

 

Previous
Next Post »