GPT 4o vs Indic LLMs: Who will Win the Language War?

GPT-4o has set the bar high in the world of language models, taking text generation and summarization to an entirely new level with its incredible versatility and vast knowledge. However, as our world becomes more diverse, the need for models that can truly grasp regional languages is growing—especially for Indic languages like Hindi, Bengali, Tamil, Telugu, and many others in India. Indic Large Language Models (LLMs) are specifically trained to handle this rich linguistic variety. But how do they measure up to the capabilities of GPT-4o? In this blog, we’ll dive into an exciting linguistic battle between GPT-4o vs various Indic LLMs to see how they compare. Ready for the challenge? Let’s jump in!

What are Indic LLMs?

Indic LLMs are specifically trained to understand, process, and generate text in the diverse languages spoken across the Indian subcontinent. These models are designed to handle the linguistic diversity of various regions, from Hindi and Bengali to Tamil, Telugu, Marathi, Gujarati, and more.

The key difference between Indic LLMs vs models like GPT 4o is their specialization in regional languages, which feature unique grammatical structures, cultural contexts, and vocabulary. Explore the blog India’s AI Leap 🇮🇳: 10 LLMs that are Built in India to learn about the top Indic LLMs.

But before we start, let’s learn how to access these Indic LLMs. Starting with Navarasa 2.0.

Navarasa

Step 1: Go to Navarasa 2.0 . Select Spaces from the top of the screen.

Step 2: Type “Navarasa” in the search section. Select the first option, as the others show a runtime error.

Step 3: Paste the prompt “विश्व के 7 अजूबों के नाम बताइए और वे कहाँ स्थित हैं? हिंदी में उत्तर दीजिए “ and click submit.

The output will appear after some time.

Next Indic LLM is Krutrim.

Krutrim

Step 1: Visit https://www.olakrutrim.com/. Click Login and sign in using your email. If you haven’t registered yet, click Register and fill in the required details.

Step 2: After registration and email verification, log in using your email and password. Select Models from the left-side menu.

Then, choose Text Generation from the catalogue and select Krutrim.

Step 3: Go to the playground, paste the same prompt, and click Run to get the response.

GPT 4o

Step 1: Visit https://openai.com/index/chatgpt/. Select “Try ChatGPT” and log in using your Gmail account.

Step 2: Type in the same prompt and click on Upward arrow.

Now let’s start the Indic LLMs vs GPT 4o battle, comparing their responses in Indian regional languages.

List of Indic LLMs

There are various Indic LLMs trained in Indian regional languages. In this blog, we will compare some popular Indic LLMs such as Navarasa, and Krutrim vs GPT 4o.

We’ll explore how well these LLMs understand the following regional languages:

1. Hindi
2. Tamil
3. Kannada
4. Telugu
5. Punjabi
6. Malayalam

Task 1: Hindi Language

Hindi is one of the most widely spoken languages in India, making it essential for AI models to understand and process it. Moreover, Hindi LLMs are designed to capture the language’s grammar, unique expressions, and cultural context.

To test this, I am using the prompt:

“विश्व के 7 अजूबों के नाम बताइए और वे कहाँ स्थित हैं? हिंदी में उत्तर दीजिए ”

English Translation:” Name the 7 wonders of the world and where they are located. Answer in Hindi.”

Output

Models	Navarasa	Krutrim	GPT 4o
Responses	विश्व के सात अजूबों को अक्सर पहाड़ों, जलमल्‍य अथवा मानवनिर्मित मड्‍म के रूप में वर्णन किया जाता है। वे निम्नलिखित हैंःदम्र के कोलोसस, सीरिया (पहाड़े का अजूबा)हिंद मंदिर, तमिलनाडु, भारत (पहाड़े का अजूबा)द ग्रेट पैरामिंद, ईजिप्ट (जलमल्‍य का अजूबा)ताजेज महल, आगरा, भारत (मानवनिर्मित अजूबा)फ्लोरेंसी के ड्यूओमो, फ्लोरेन्स, इटली (मानवनिर्मित अजूबा)किंगडम ऑफ क्रिस्टल, लंडन, यूनाइटेड किंगडम (चतुर अजूबा)मस्जिद अमरी, मकोनी, ताजिकिस्तान (जलमल्‍य का अजूबा)	विश्व के 7 अद्भुत इस प्रकार हैं:- ताजमहल – आगरा, भारतचीन की महान दीवार – बीजिंग, चीनमिस्र के गीज़ा में बड़े पिरामिड- गीज़ा, मिस्रओलम्पिया में ज़ीउस की प्रतिमा-ओलम्पिया, यूनानएफिसस में आर्टेमिस का मंदिर-एफिसस, तुर्कीपेट्रा नगर और मठ-मदाबा, जॉर्डनकोलोसियम-रोम, इटली। आप अंग्रेजी या हिन्दी में इन अजूबों के बारे में अधिक विवरण खोजना चाह सकते हैं!	यहाँ विश्व के सात नए अजूबों के नाम और उनकी स्थिति दी गई है:चीन की महान दीवारस्थान: चीनयह दीवार प्राचीन चीनी साम्राज्य की रक्षा के लिए बनाई गई थी और इसे दुनिया की सबसे लंबी मानव निर्मित संरचना माना जाता है।पेट्रास्थान: जॉर्डनयह एक ऐतिहासिक और पुरातात्विक शहर है, जिसे “गुलाबी शहर” भी कहा जाता है। इसकी अद्वितीय वास्तुकला चट्टानों को काटकर बनाई गई है।क्राइस्ट द रिडीमर प्रतिमास्थान: रियो डी जेनेरियो, ब्राज़ीलयह यीशु मसीह की विशाल प्रतिमा है, जो रियो डी जेनेरियो के ऊपर एक पर्वत पर स्थित है।माचू पिच्चूस्थान: पेरूयह इंका सभ्यता का प्राचीन शहर है, जो एंडीज़ पर्वतों में स्थित है। इसे “इंका सभ्यता का गुम शहर” भी कहा जाता है।चिचेन इत्ज़ास्थान: मैक्सिकोयह माया सभ्यता का एक प्राचीन शहर है, जिसमें कुकुल्कन पिरामिड जैसी अद्भुत संरचनाएं हैं।रोम का कोलोसियमस्थान: रोम, इटलीयह प्राचीन रोम का एक विशाल एम्फीथिएटर है, जो ग्लैडिएटर युद्ध और अन्य सार्वजनिक आयोजनों के लिए प्रसिद्ध है।ताज महलस्थान: आगरा, भारतइसे मुग़ल सम्राट शाहजहां ने अपनी पत्नी मुमताज़ महल की याद में बनवाया था। यह सफेद संगमरमर से बना प्रेम का प्रतीक है।ये सात अजूबे 2007 में एक वैश्विक वोटिंग प्रक्रिया के माध्यम से चुने गए थे।

Analysis

The prompt asks to list the 7 wonders of the world. Navarasa correctly listed two wonders of the world: the Taj Mahal from India and the Giza Pyramids from Egypt. However, the name listed for the Giza Pyramids is incorrect, as it is mentioned as the Great Pyramids. On the other hand, Krutrim’s response correctly listed five wonders, but two names are incorrect: the Statue of Zeus at Olympia in Greece and the Temple of Artemis at Ephesus in Turkey. GPT-4o, however, correctly listed all seven wonders.

Task 2: Tamil Language

Tamil is one of the world’s oldest languages. Understanding Tamil with LLMs will help AI systems engage effectively with Tamil-speaking users. This will improve applications in education, customer service, and content creation.

Now, let’s compare the Tamil responses of Indic LLMs vs GPT 4o.

Prompt: “இந்தியாவின் தலைநகரம் என்ன? “

English Translation:”What is the capital of India?”

Output

Models	Navarasa	Krutrim	GPT 4o
Responses	Response 1: இந்தியாவின் தலைநகரம் நுணுக்கமாக மாடி நகரம்… ஹோலிகோபாத். தாலாடை, தலைநகரமாக அழைக்கப்படுகிறது, இது மென்பொருள் பாதுகாப்பை ஒப்புக்கொள்ளும் அதன் மாநிலத்தில் உள்ள மிகப்பெரிய நகரமாகும். Response 2:இந்தியாவின் தலைநகரம் புதுடில்லி.	இந்தியாவின் தலைநகரம் நியூ டெல்லி ஆகும். இது மத்திய அரசின் இருக்கையாகவும், கூட்டாட்சியின் நிர்வாக மையமாகவும் உள்ளது.	இந்தியாவின் தலைநகரம் புதுதில்லி (New Delhi) ஆகும்.இதுவே நாட்டின் அரசியல் மற்றும் நிர்வாக மையமாக செயல்படுகிறது. 1911-ல் பிரிட்டிஷ் ஆட்சி காலத்தில், கொல்கத்தாவை விட்டு புதுதில்லி தலைநகரமாக மாற்றப்பட்டது. இப்போது, இது இந்தியாவின் முக்கிய அரசியல், வரலாற்று மற்றும் கலாச்சார நகரங்களில் ஒன்றாக திகழ்கிறது.

Analysis

The prompt asked, “What is the capital of India?” Navarasa didn’t provide the correct answer the first time but got it right on the second attempt. Krutrim answered correctly the first time. Navarasa and GPT-4o are translating the answer into Tamil, using terms like “புது” for new and “தில்லி/டில்லி” for Delhi. Navarasa only provided the name, while Krutrim and GPT-4o gave additional information.

Task 3: Kannada Language

Kannada is a prominent language in South India. It has a distinct structure and vocabulary. Let’s check how the models performed in Kannada.

Prompt:“ಭಾರತವನ್ನು ಸುತ್ತುವರೆದಿರುವ ಸಾಗರಗಳನ್ನು ಹೆಸರಿಸಿ. “

English Translation:”Name the seas that surround India.”

Output

Models	Navarasa	Krutrim	GPT 4o
Responses	ಭಾರತವು ಹಲವಾರು ಸಾಗರಗಳಿಂದ ಸುತ್ತುವರೆದಿದೆ: ಹಿಂದೂ ಮಹಾಸಾಗರ, ಬಂಗಾಳ ಕೊಲ್ಲಿ, ಮೆಡಿಟರೇನಿಯನ್ ಸಾಗರ ಮತ್ತು ಪೆಸಿಫಿಕ್ ಸಾಗರ.	Response 1:  ಭಾರತವನ್ನು ತಲುಪುವ ಎರಡು ಪ್ರಮುಖ ಸಾಗರಗಳೆಂದರೆ ಅರಬ್ಬೀ ಸಮುದ್ರ ಮತ್ತು ಬಂಗಾಳ ಕೊಲ್ಲಿ. Response 2:  ಭಾರತವನ್ನು ಮೂರು ಪ್ರಮುಖ ಸಮುದ್ರಗಳು ಸುತ್ತುವರೆದಿವೆ. ಅವುಗಳೆಂದರೆಃ ಅರಬಿ ಸಮುದ್ರ (West Coast) ಬಂಗಾಳ ಕೊಲ್ಲಿ (East Coast) ಹಿಂದೂ ಮಹಾಸಾಗರ (South Coast) ಈ ಸಮುದ್ರಗಳು ಶತಮಾನಗಳಿಂದ ಭಾರತದ ಆರ್ಥಿಕತೆ, ವ್ಯಾಪಾರ ಮತ್ತು ಕಡಲ ಇತಿಹಾಸದಲ್ಲಿ ಮಹತ್ವದ ಪಾತ್ರವನ್ನು ವಹಿಸಿವೆ.	ಭಾರತವನ್ನು ಸಂಪರ್ಕಿಸುವ ಪ್ರಮುಖ ಸಾಗರಗಳು ಹಾಗೂ ಸಮುದ್ರಗಳು ಈ ಕೆಳಗಿನಂತಿವೆ: ಹಿಂದೂ ಮಹಾಸಾಗರ (Indian Ocean): ಭಾರತದ ದಕ್ಷಿಣ ಭಾಗವನ್ನು ಸುತ್ತುವರಿಯುವ ಪ್ರಮುಖ ಮಹಾಸಾಗರ. ಇದು ವಿಶ್ವದ ತೃತೀಯ ದೊಡ್ಡ ಮಹಾಸಾಗರವಾಗಿದೆ. ಅರಬಿ ಸಮುದ್ರ (Arabian Sea): ಭಾರತದ ಪಶ್ಚಿಮ ಕರಾವಳಿಯು (ಗೋವಾ, ಮಹಾರಾಷ್ಟ್ರ, ಕರ್ನಾಟಕ, ಕೇರಳ) ಅರಬಿ ಸಮುದ್ರದಿಂದ ಆವರಿತವಾಗಿದೆ. ಬಂಗಾಳಕೊರೆ (Bay of Bengal): ಭಾರತದ ಪೂರ್ವ ಕರಾವಳಿಯು (ಪಶ್ಚಿಮ ಬಂಗಾಳ, ಒಡಿಶಾ, ತಮಿಳುನಾಡು, ಆಂಧ್ರಪ್ರದೇಶ) ಬಂಗಾಳಕೊರೆ ಸಮುದ್ರದಿಂದ ಆವರಿತವಾಗಿದೆ. ಈ ಮೂರು ಪ್ರಮುಖ ಸಾಗರಗಳು ಭಾರತದ ವಾಣಿಜ್ಯ, ಮೀನುಗಾರಿಕೆ, ಮತ್ತು ಸಾಗಾಣಿಕೆ ಉನ್ನತಿಗೆ ಮಹತ್ತರ ಪಾತ್ರವಹಿಸುತ್ತವೆ.

Analysis

When asked about the seas surrounding India, Navarasa failed to mention the Arabian Sea and instead listed four seas, only one of which, the Bay of Bengal, was correct. In contrast, Krutrim accurately identified the two seas. GPT-4o’s response was partially correct, as it listed the Arabian Sea and the Bay of Bengal accurately, but it also included the Indian Ocean, which is an ocean, not a sea.

Task 4: Telugu Language

Telugu is spoken by millions in Southern India. It has a unique script and linguistic style. Let’s compare indic LLMs vs GPT 4o for the Telugu script.

Prompt: “ క్రిస్మస్ గురించి 300 పదాలలో ఒక వ్యాసం రాయండి.“

English Translation:”Write an essay on Christmas in 300 words.”

Output

Responses

క్రిస్మస్ విందుకు సిద్ధమే అనుకోండి. కబురులు. ఎండిపోతున్న మరియు సేంద్రీయ పదార్థాలతో నిండిన ఉండం. వంటి జిడ్డుగురించి ఆలోచించండి. క్రిస్మస్ ను ఎక్కువగా స్టాంపింగ్, బాన్కింగ్ మరియు వాజ్ చేయడంతో చిత్రీకరిస్తారు. స్టోర్ కట్టే బ్యాగింగ్, రబ్బరు బ్యాక్ షెల్డ్, డిస్ప్ోస్బుల్ టేప్ ఎలా కస్టమర్ లను ఒక గదిలోకి ఒంటరిగా బంధిస్తాయి. స్టోర్స్ కింద ఫౌండైన్ ల మధ్య బ్రాండ్ లేబుల్స్ తో నిండిన బాక్స్ లను ప్రదర్శిస్తారు.క్రిస్మస్ కంటే ప్రత్యేకంగా ఉన్న దానికి ఇంకో ఉదాహరణ ఎదురు చూశాం కాదా. కులానికి సామరస్యం అంటే ఏంటో మనం గుర్తుంచుకోవచ్చు – పేదలు మరియు అవసరమైనవారికి మంచి వస్త్రాలను ఇవ్వడం, శ్రమ కోసం మనస్సాక్షిని ఇవ్వడం వంటివి. ఇది పేద ప్రజలు మనం ఉత్పత్తి చేయలేనని వస్తువులను అందించడం.మనకు చాలా ముఖ్యమైన కొన్ని వస్తువులను రూపొందించే మరియు తయారు చేసే వ్యక్తులను ఒక తరగతిలోగా నిర్వచించాలి. ఇప్పుడు, క్రిస్మస్ చేస్తూ, వారు గొప్పగా చేసిందని మనం కనుగొంటామని ఆశిస్తున్నాము.క్రిస్మస్ సందర్భంలో, ఇది ఒక ఫ్యాబ్రిక్ కత్తి

క్రిస్మస్ అనేది ప్రపంచవ్యాప్తంగా లక్షలాది మందికి ఎంతో ఆనందాన్ని, ఆశను తెచ్చే అద్భుతమైన సీజన్. ఈ పవిత్రమైన సెలవు ఉత్సవం డిసెంబర్ 25న ప్రతి సంవత్సరం జరుపుకుంటారు, దీని వేర్లు క్రైస్తవ చరిత్రలో ఉన్నాయి. యేసుక్రీస్తు జననాన్ని జరుపుకోవడానికి క్రైస్తవులు మరియు అనేక ఇతర మత సమూహాలు కలిసి దీన్ని ఆచరిస్తాయి. ఇది కుటుంబాలు కలవడానికి, ఉపాధ్యాయులు తమ విద్యార్థులను అభినందించడానికి, హృదయంలో ప్రేమను నింపడానికి మరియు బంధాలను బలోపేతం చేయడానికి ఒక సమయం. చల్లని శీతాకాలపు గాలులు లోపలి భాగాలకు తీరప్రాంత వాతావరణాన్ని తెచ్చేలా చేస్తాయి; భోగి మంటలు వెలిగిస్తారు, ఇంకా ఎక్కువ ఆనందం మరియు వెచ్చదనాన్ని జోడించడానికి మన ఇంటి బయట మెరిసే లైట్ల వరుసలు.  క్రిస్మస్ తయారీలు చాలా ముందుగానే ప్రారంభమవుతాయి. ఇంట్లో, అందరి ముఖాల్లో ఉత

క్రిస్మస్ పండుగక్రిస్మస్ ప్రతి సంవత్సరం డిసెంబర్ 25న ప్రపంచవ్యాప్తంగా జరుపుకునే ప్రముఖ పండుగ. ఈ పండుగను క్రైస్తవులు యేసు క్రీస్తు జన్మదినంగా జరుపుకుంటారు. యేసు క్రీస్తు ప్రేమ, శాంతి, మరియు త్యాగానికి మూర్తిరూపం. ఆయన బోధనలు మానవత్వం, నైతికత, మరియు దయను గురించి చెబుతాయి. క్రిస్మస్ వేడుకలు ఈ విలువలను ప్రతిబింబిస్తాయి.క్రిస్మస్‌కు సిద్ధమవడంలో ప్రధానంగా క్రిస్మస్ ట్రీ అలంకరణ, ఇళ్ళను దీపాలతో మరియు పూలతో శోభితం చేయడం వంటి పనులు ఉంటాయి. ప్రత్యేకంగా పిల్లలు సాంటా క్లాజ్ కోసం ఎదురుచూస్తారు. సాంటా క్లాజ్ కథ ప్రకారం, ఆయన రాత్రి వేళలలో రావడం, పిల్లలకు బహుమతులు అందించడం అనే విశ్వాసం ఉంది.ఈ రోజు ప్రధానంగా చర్చి ప్రార్థనలు, కీర్తనలు మరియు మిడ్నైట్ మాస్ ద్వారా ప్రారంభమవుతుంది. కుటుంబ సభ్యులు మరియు స్నేహితులు ఒకచోట చేరి సంతోషంగా ఈ పండుగను జరుపుకుంటారు. బహుమతుల మార్పిడి, సాంప్రదాయ వంటకాలు, మరియు ప్రత్యేక కేకులు ఈ వేడుకలలో భాగమవుతాయి.క్రిస్మస్ పండుగ కేవలం క్రైస్తవులకు మాత్రమే కాకుండా అన్ని మతాలకు చెందిన వారికీ ఆహ్లాదాన్ని కలిగించే పండుగ. ఇది ప్రేమను, సహనాన్ని, మరియు సమన్వయాన్ని ప్రోత్సహిస్తుంది. పేదలకు దానాలు ఇవ్వడం, వారికి సహాయం చేయడం వంటి మంచి పనులు చేయడం ద్వారా ఈ పండుగకు మరింత ప్రత్యేకత చేకూరుతుంది.మొత్తంగా, క్రిస్మస్ పండుగ శాంతి మరియు ఆనందాన్ని ప్రపంచానికి చేరవేసే సందేశాన్ని అందిస్తుంది. ఇది కుటుంబ సభ్యుల మధ్య బంధాలను బలపరుస్తుంది మరియు మనుషుల మధ్య మానవత్వాన్ని పెంపొందిస్తుంది.

Analysis

When prompted to write an essay on Christmas, Navarasa produced an incoherent collection of random words, unrelated to Christmas. Krutrim began well, describing Christmas, but strayed off-topic midway. GPT-4o stands out as the best, providing an accurate description of Christmas, from its historical origins to modern-day celebrations.

Task 5: Punjabi Language

Punjabi is spoken in both India and Pakistan. It has a unique script and distinct linguistic traits. Punjabi LLMs are designed to understand and process the language. Let’s see how they compare with GPT 4o.

Prompt:

“ ਅੰਮ੍ਰਿਤਸਰ ਆਉਣ ਲਈ 3 ਦਿਨਾਂ ਦੀ ਯਾਤਰਾ ਦਾ ਸਮਾਂ ਦਿਓ।“

English Translation :”Give 3 days travel itinerary for Amritsar.”

Output

Responses

Response 1ਅੰਮ੍ਰਿਤਸਰ ਦੀ 3 ਦਿਨਾਂ ਦੀ ਯਾਤਰਾ ਦਾ ਸਭ ਤੋਂ ਵਧੀਆ ਸਮਾਂ ਅਕਤੂਬਰ ਵਿੱਚ ਹੈ। ਮੈਂ ਤੁਹਾਨੂੰ ਕੁਝ ਆਕਰਸ਼ਣਾਂ, ਜਿਵੇਂ ਕਿ ਸਪਲਕਿੰਗ ਸਰਵਿਊ ਬੀਚ ਅਤੇ ਬਹਿਮਨ ਬੰਗਲੌਰ ਭੁੱਲਣਾ ਚਾਹੁੰਦਾ ਹਾਂ, ਜੋ ਸਿਰਫ਼ ਪੁਸ਼ਕਰ ਦੇ ਗ੍ਰੀਨਪਾਰਕ ਦੇ ਨੇੜੇ ਹੰਕਾਰੀ ਪਹਾੜੀਆਂ ਅਤੇ ਲੈਂਡਸਕੇਪ ਦੇ ਨਾਲ ਲਗਭਗ 10 ਮਿੰਟ ਦੀ ਦੂਰੀ ‘ਤੇ ਮਿਲ ਸਕਦੇ ਹਨ। ਇਹ ਇੱਕ ਸੁੰਦਰ ਸ਼ਹਿਰ ਹੈ ਜੋ ਸੱਭਿਆਚਾਰ ਅਤੇ ਸੁੰਦਰਤਾ ਦੇ ਮਿਸ਼ਰਣ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ ਜਿਸਨੂੰ ਆਣੇ ਜਾਣ ਅਤੇ ਉਸਦਾ ਅਨੰਦ ਲੈਣਾ ਚਾਹੀਦਾ ਹੈ। Response 2ਖੁਸ਼ਕਿਸਮਤੀ ਨਾਲ, ਅੰਮ੍ਰਿਤਸਰ ਦਾ ਦੌਰਾ ਕਰਨ ਲਈ ਤਿੰਨ ਦਿਨਾਂ ਲਈ ਇੱਕ ਵਧੀਆ ਯੋਜਨਾ ਬਣਾਉਣ ਵਿੱਚ ਤੁਹਾਡੀ ਮਦਦ ਕਰਨ ਵਿੱਚ ਮੇਰੀ ਖੁਸ਼ੀ ਹੋਵੇਗੀ! ਇੱਥੇ ਮੇਰੇ ਸੁਝਾਅ ਹਨ:ਦਿਨ 1: ਚਾਰ ਗ,#1 ਦਾ ਦੌਰਾ ਕਰੋ ਅਤੇ ਉਦਯੋਗਿਕ ਸ਼ਹਿਰ ਦੇ ਇਤਿਹਾਸ ਬਾਰੇ ਜਾਣੋ, ਚਾਰ ਗ,#1 #2 ਇਸਨੂੰ ਅਣਦੇਖੇ ਸ਼ਹਿਰ ਦੇ ਰੂਪ ਵਿੱਚ ਜਾਣਿਆ ਜਾਂਦਾ ਹੈ, ਜੋ ਉਨ੍ਹਾਂ ਵਿਲੱਖਣ, ਪ੍ਰੇਰਨਾਦਾਇਕ ਢੰਗਾਂ ਨਾਲ ਨਾਲਗਿੱਲਾ ਹੈ ਜਿਸ ਨਾਲ ਪੈਂਟਾਂ ਅਤੇ ਪੇਸਟਾਂ ‘ਤੇ ਰਗੜੇ ਅਤੇ ਰਗੜੇ ਗਏ ਦਸਤੀ ਕੰਮ ਦੀ ਅਜੂਬਿਆਂ ਵਿਚ ਰਗੜੇ ਅਤੇ ਰਗੜੇ ਗਏ ਦਸਤੀ ਕੰਮਾਂ ਨਾਲ ਏਕੀਕ੍ਰਿਤ ਹੁੰਦੇ ਹਨ ਜਿਵੇਂ ਕਿ ਚਿੱਪਾਂ, ਵਰਗੇ ਰਬੜ, ਚਿੱਟਾ ਸੁਰੱਖੀ ਅਮਰੇਲੀਨ ਅਤੇ ਦਰਵਾਜ਼ਾ ਦੇ ਤੋਂ ਹੇਠਾਂ ਵਾਲੇ ਖੇਤਰ ਦੇ ਵਿਸ਼ੇਸ਼ ਤੌਰ ‘ਤੇ ਦਸਤੀ ਅਤੇ ਰਗੜ ਗਏ ਵਿਸਤਾਰਾਂ ਨੇ ਸ਼ਹਿਰ ਨੂੰ ਇਸਦੇ ਮੁਕੁਟ ਲਾਗੂ ਕੀਤੇ ਹਨ। 1981-84 ਅਤੇ 1991-1994 ਦੇ ਵਿਚਕਾਰ।ਦਿਨ 2: ਮੇਲਾ ਡੰਗੀ ਵਿੱਚ ਜਾਓ ਅਤੇ ਇੱਕ ਕਲਾ ਮੇਲਾ ਲੈ ਕੇ ਆਓ। ਬਹੁਤ ਸਾਰੇ ਛੋਟੇ ਕਾਰੋਬਾਰੀਆਂ ਦੇ ਨਾਲ, ਅੰਮ੍ਰਿਤਸਰ ਯਾਤਰੀਆਂ ਲਈ ਇੱਕ ਸ਼ਾਨਦਾਰ ਖਰੀਦਦਾਰੀ ਮਾਹੌਲ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।ਦਿਨ 3: ਨੀਤ ਨਾ

ਅੰਮ੍ਰਿਤਸਰ ਜਾਣ ਲਈ 3-ਦਿਨ ਦੇ ਯਾਤਰਾ ਪੱਤਰ ਵਿੱਚ ਹੇਠ ਇਸ਼ਕ੍ਰਿਹ੍ਯ ਹਨ:ਦਿਨ 1:ਗੋਲਡਨ ਟੈਂਪਲ (ਸ਼੍ਰੀ ਦਰਬਾਰ ਸਾਹਿਬ) ‘ਤੇ ਜੈਵੇ: ਦੁਨਿਆ ਭਰ ‘ਚ ਸਭ ਤੋਂ ਮੁੱਖਤ ਸਿੱਖ ਮੰਦਰ, ਸਵਰਨ ਦੇ ਦਰਵਾਜ਼ੇ ਅਤੇ ਲੰਗਰ ਕੌਲਾ ਨੂੰ ਦੇਖਰ ਚਰਖੇਰਤਬ-ਘਰ ਨਹਿਰੂ ‘ਚ ਜੈਵੇ (ਚਲ ਰਹੇ ਘੋੜੇ ‘ਤੇ):- ਇਹ ਖੂਬਸਰਤ ਨਹਿਰੂ ਦੁਨਿਆ ਦੇ ਸਭ ਤੋਂ ਪੁਰਾਣਾ ਚਾਲ ਰਹਾ ਨਹਿਰੂਆਂ ਵਿੱਚੇਦਿੰਆ ਆ ਰਹੀਆ ਸੀਜਲ੍ਹ਼ਿਆਂਵਾਲਾ ਬਾਗ਼ ‘ਤੇ ਜੈਵੇ:- ਆਜ਼ਾਦੀ ਸ਼੍ੰਗਰਾਮ ਦੇ ਇਕ ਮੁੱਖਵਪੂਰਣ ਉਦਾਹਰਨ, ਜਿੱਥੋਂ ਮਹਾਤਮਾ ਗਾਂਧੀ ਨੇ ਪ੍ਰਨਅসহযੋਗ ਨੂੰ ਸ਼ੁਲਕਆਤ ਕੀਤੀਵਾਹਗਾ ਨਹਿਰੂ ‘ਤੇ ਫੇਰిః:- ਭਾਰਤ-ਪੰਜਾਬ ਦੀ ਸਿਨਹੈੱਦ ਨਿਰੱਪਨ ‘ਤੇ ਪਾਕਿਸਤਾਨ ਦੇ ਪੋਰੇ ਹਿੱਸੇ ਦੀ ਵਿੱਧੀ ਨੂੰ ਬਣਾਉਣ ਵਾਲੀ ਨਹਿਰੂ, ਪਰਿਦ੍ਰਿਸ਼ੀ ਅਤੇ ਇਤਿਹਾਸਕ ਦ੍ਰਿਸਟਕੋਣਬazaar ਚਾਟ ਤੇ ਭਾ::- ਅਧਿਕਾਰੀ ਖਾਧ ਪਦਾਰਥ, ਗੋਲਗੱਪੇ ਅਤੇ ਗੳਲਗਮੁੰਡੇ ਲਈ ਬazaar famedਦਿਨ 2:ਤਰਨਤਰਨ ਸਾਹਿਬ ਅਤੇ ਹਰਿਮਦਿਰ ‘ਤੇ ਜੈਵੈ:- ਚਾਰ-ਦੁਆਰੇ ਅਤੇ ਆਦਿ ਗਰੁਵਾਂ ਦੇ ਲੇਖ ਦੇਖਉ, ਗੁਰਬਾਣੀ ਸਰਵਣ ਕਰੋ, ਅਤੇ ਸਰੋਵਰ ਚ ਦੋਖਾਨ ਕਰੇਬਟਾਲਾ ਸੈਲਫੋਸਨ ਰੈਫੇਲਸ ‘ਤੇ ਜੈਵें:- ਕਾਲੇ ਪੇਥਰ ਅਤੇ ਚਾਰ ਮੱਛਰਦ ਪ੍ਰਸਿੱਧ ਮਿਊਜ਼ੀਅਮ, ਬਟਾਲਾ ਦੇ ਹੈਠ ਅਤੇ ਇਤਿਹਾਦ ਨੂੰ ਦੇਲਖਿਅਨੰਦਪੁਰ ਸਾਹਿਬ ਦੇ ਹੇਠ ਅਤੇ ਮਸ਼ਹੂਰ ਚਰਚਾ ਤੇ ਅਜਭੁੱਦ ਮਾਸਤੀ ਲਈ:- ਪ੍ਰਚਾਨਕ ਖਗਿਆਨਹ ਦਾ ਸਥਾਨ, ਜਿੱਥੇ ਗੁਰੇਬੈਨ ਨੇ 90 ਹੇਠ ਤੱਕ ਮੁਗਲ ਸੈਨਾਂ ਨਾਂ ਮੁਕਾਬਲਾ ਕੀਤਾਰੋਪੜ ਕੈਲੈ ਅਤੇ ਡੂੰਗਰਘਾਟ ‘ਤੇ ਜੈਵੇ= ਖਾਸ ਕਰ ਬੱਚੇ ਪ੍ਸ਼ੰਸ ਦੇ ਪਾਤ੍ਰ ਖੁੰਗਰਘਾਟ झरन ਦੇਖਣ ਦੋਂ।ਦਿਨ 3:ਫਤਿਹਗੜ ਸਾਹਿਬ ‘ਤੇ ਦੇਖਨੁ:ઃ- ਪ੍ਸਿੱਧ ਗੁਰਦੁਆਰੇ ਮੰਦਰ, ਅਕਾਲਬੁੰਗਾ ਅਤੇ ਚੁਕੋਨ ਮੇਂ ਗੁਰੂ ਗੋਬਿੰਦ ਸਾਹਿਬ ਦੀ ਜਨਮ ਭੂਮਿਪਟਿਆਲਾ’ਤੇ ਜੈਵੇ= ਪ੍ਰਟੋਰੂ ਕੈਲੈ, ਪਟੀਡਾ ਪਰਸਿੱਧ ਪੈਲੇ, ਅਤੇ ਸਰਹਿੰਡੇ ਬਾਲਮੌਦਰਦਿਨ 4:ਚੰਡੀਗੜ ਤੇ ਕਰਨਾਲ ਲਈ ਸਫਰ ਮੁੰਕੁਰ:- ਖਾਇਨਕ ਥਾਵਾਂ ਚੰਡੀਗੜ ਦੇ ਪ੍ਰਕਿਰੀ ਧਾਰਮਿਕ ਭਵਨ ਨੂੰ ਦੇਖਕ ਮੁੰਕੁਰਕੁਰੁਕਸ਼ੇਤਰ, ਪਾਣੀਪਤ ਅਤੇ ਜਗਾਧਰੀ ਦੀ ਪੱਛਮੀ ਮੁੰਕੁਰ ਧਾਰਮਿਕ ਥਾਈਯਾਂ ਦੇ ਲਾਇਕ ਹਿੱਸੇ ਦੇਖਉ।ਇਹ 3-ਦਿਨਾਂ ਦੇ ਪ੍ਰੋਗਰਾਮ ‘ਤੇ ਪਰਿਸਥਿਤੀ, ਸਮ,

ਅੰਮ੍ਰਿਤਸਰ ਲਈ 3 ਦਿਨਾਂ ਦੀ ਯਾਤਰਾ ਦਾ ਸਮਾਂ: ਦਿਨ 1: ਅਮ੍ਰਿਤਸਰ ਵਿੱਚ ਪਹੁੰਚਣਾ ਅਤੇ ਦਰਸ਼ਨ ਸਵੇਰੇ: ਅੰਮ੍ਰਿਤਸਰ ਪਹੁੰਚੋ (ਟ੍ਰੇਨ ਜਾਂ ਉਡਾਣ ਰਾਹੀਂ)। ਹੋਟਲ ਜਾਂ ਧਰਮਸ਼ਾਲਾ ਵਿੱਚ ਚੈਕ-ਇਨ ਕਰੋ। ਦੁਪਹਿਰ: ਸ੍ਰੀ ਹਰਿਮੰਦਰ ਸਾਹਿਬ (ਗੋਲਡਨ ਟੈਂਪਲ): ਦਰਸ਼ਨ ਕਰੋ ਅਤੇ ਲੰਗਰ ਦਾ ਆਨੰਦ ਲਵੋ। ਪਾਰਕੀਰਾਮਾ ਅਤੇ ਅਮ੍ਰਿਤ ਸਰੋਵਰ ਦਾ ਸੁੰਦਰ ਦ੍ਰਿਸ਼ ਅਨੁਭਵ ਕਰੋ। ਸ਼ਾਮ: ਜਲਿਆਂਵਾਲਾ ਬਾਗ: ਇਤਿਹਾਸਿਕ ਜਗ੍ਹਾ ਵੇਖੋ। ਗੋਲਡਨ ਟੈਂਪਲ ਦੇ ਰਾਤ ਦੇ ਨਜ਼ਾਰੇ ਦਾ ਆਨੰਦ ਲਵੋ। ਰਾਤ: ਹੋਟਲ ਜਾਂ ਰਹਿਣ ਦੀ ਜਗ੍ਹਾ ਵਾਪਸ ਜਾਓ ਅਤੇ ਆਰਾਮ ਕਰੋ। ਦਿਨ 2: ਵਿਰਾਸਤ ਅਤੇ ਸੈਰ-ਸਪਾਟਾ ਸਵੇਰੇ: ਦੁਰਗਿਆਨਾ ਮੰਦਰ: ਹਿੰਦੂ ਮੰਦਰ, ਜੋ ਗੋਲਡਨ ਟੈਂਪਲ ਦੇ ਸ਼ੈਲੀ ਵਿੱਚ ਹੈ। ਅੰਮ੍ਰਿਤਸਰ ਦੇ ਰਾਜਾ ਸੰਸੀ ਮਿਊਜ਼ੀਅਮ ਜਾਂ ਸਥਾਨਕ ਮਾਰਕੀਟਾਂ ਦਾ ਦੌਰਾ। ਦੁਪਹਿਰ: ਵਾਘਾ ਬਾਰਡਰ: ਬਾਰਡਰ ਤੋਂ ਕੁਝ ਕਿਲੋਮੀਟਰ ਦੂਰ ਸਥਿਤ ਹੈ। ਸ਼ਾਮ ਨੂੰ ਰੀਟਰੀਟ ਸੈਰਮਨੀ ਵੇਖੋ, ਜੋ ਭਾਰਤ ਅਤੇ ਪਾਕਿਸਤਾਨ ਦੀ ਦੋستی ਅਤੇ ਫੌਜ ਦੇ ਜ਼ੋਸ਼ ਦਾ ਪ੍ਰਤੀਕ ਹੈ। ਰਾਤ: ਸਥਾਨਕ ਖਾਣਾ ਜਿਵੇਂ ਕਿ ਅੰਮ੍ਰਿਤਸਰੀ ਕੂਲਚਾ ਅਤੇ ਲੱਸੀ ਦਾ ਆਨੰਦ ਲਵੋ। ਹੋਟਲ ਵਿੱਚ ਆਰਾਮ ਕਰੋ। ਦਿਨ 3: ਖਰੀਦਦਾਰੀ ਅਤੇ ਵਾਪਸੀ ਸਵੇਰੇ: ਸਥਾਨਕ ਮਾਰਕੀਟਾਂ ਵਿੱਚ ਖਰੀਦਦਾਰੀ ਕਰੋ: ਹਾਲ ਬਜ਼ਾਰ ਤੋਂ ਹੱਥੋਂ ਬਣੇ ਫੁਲਕਾਰੀਆਂ। ਅੰਮ੍ਰਿਤਸਰ ਦੇ ਮਸ਼ਹੂਰ ਪੱਪੜ ਅਤੇ ਵੜੀਆਂ। ਦੁਪਹਿਰ: ਹੋਟਲ ਤੋਂ ਚੈਕ-ਆਉਟ ਕਰੋ। ਅਖੀਰਲੇ ਮਿਊਜ਼ੀਅਮ ਜਾਂ ਅਨਿਆ ਚੋਟੀਆਂ ਜਗ੍ਹਾ ਤੇ ਦੌਰਾ ਕਰੋ। ਸ਼ਾਮ: ਆਪਣੀ ਵਾਪਸੀ ਦੀ ਯਾਤਰਾ ਲਈ ਤਿਆਰ ਹੋ ਜਾਓ। ਟਿੱਪਸ: ਪਹਿਲਾਂ ਹੀ ਹੋਟਲ ਅਤੇ ਟਿਕਟਾਂ ਬੁੱਕ ਕਰੋ। ਵਾਘਾ ਬਾਰਡਰ ਅਤੇ ਹਰਿਮੰਦਰ ਸਾਹਿਬ ਲਈ ਸਵੇਰੇ ਤਿਆਰੀ ਕਰ ਲਵੋ। ਸਥਾਨਕ ਲੋਕਾਂ ਤੋਂ ਸਿੱਧਾ ਖਾਣਾ ਅਤੇ ਯਾਤਰਾ ਸਲਾਹ ਲਵੋ।

Analysis

When asked for a 3-day itinerary for Amritsar, Navarasa, despite multiple attempts, was not able to give the full plan or the names of the places to cover over the 3 days. In contrast, Krutrim provided a detailed 3-day plan, specifying what to cover and where to go each day. GPT-4o also provided a complete 3-day plan, maintaining an overall structure and a detailed day-by-day itinerary from morning to evening.

Task 6: Malayalam Language

Malayalam’s complex script and rich cultural context present unique challenges for AI. Let’s evaluate the performance of Indic LLMs vs GPT 4o in Malayalam.

Prompt :

“എനിക്ക് അപ്പത്തിൻ്റെ റെസിപ്പി തരൂ. “

English Translation :” Give the recipe of appam.”

Output

Models	Navarasa	Krutrim	GPT 4o
Responses	ചേരുവകൾ: 2 കപ്പ് ഓൾ-പർപ്പസ് മാവ്, 1 ടീസ്പൂൺ ബേക്കിംഗ് പൗഡർ, 1/2 ടീസ്പൂൺ ഉപ്പ്, 1/2 കപ്പ് വെണ്ണ (കട്ടിയുള്ള), 1/3 കപ്പ് മധുരമില്ലാത്ത കൊക്കോ പൊടി, 1/3 കപ്പ് സസ്യ എണ്ണ, 3/4 കപ്പ് നാരങ്ങാ പേസ്റ്റ്, 2 മുട്ടകൾ, 2/3 കപ്പ് കരംഗത്തായ പഞ്ചസാര.	ചേരുവകൾഃ4 കപ്പ് എല്ലാ ആവശ്യത്തിനുമുള്ള മാവു1/4 കപ്പ് വെളുത്ത പഞ്ചസാര (ഓപ്ഷണൽ)2 ടേബിൾസ്പൂൺ തൽക്ഷണ യീസ്റ്റ് (അല്ലെങ്കിൽ 2 1⁄2 ടേബിൾസ്പൂൺ സജീവ ഉണങ്ങിയ യീസ്റ്റ്)1 1⁄2 ടേബിൾസ്പൂൺ ഉപ്പ്1 1⁄2 കപ്പ് ചെറുചൂടുള്ള വെള്ളം (110 ഡിഗ്രി ഫോർഹീഡ്/43 ഡിഗ്രി സെൽഷ്യസ്)2 ടേബിൾസ്പൂൺ സസ്യ എണ്ണ (ഓപ്ഷണൽ)നിർദ്ദേശങ്ങൾഃഒരു വലിയ മിക്സിംഗ് ബൌളിൽ, മാവു, പഞ്ചസാര (ഉപയോഗിക്കുകയാണെങ്കിൽ), തൽക്ഷണ യീസ്റ്റ് അല്ലെങ്കിൽ ഉണങ്ങിയ യീസ്റ്റ്, ഉപ്പ് എന്നിവ ഇളക്കുക. ചെറുചൂടുള്ള വെള്ളത്തിലും സസ്യ എണ്ണയിലും (ഉപയോഗിക്കുകയാണെങ്കിൽ) ഇടയ്ക്കിടെ ഇളക്കി, ഈർപ്പമുള്ളതും ഒട്ടിക്കാത്തതുമായ ഒരു കുഴമ്പ് രൂപപ്പെടുന്നതുവരെ പതുക്കെ ഒഴിക്കുക. ഇടയ്ക്കിടെ ഒരു തടി സ്പൂണുമായി കുഴയ്ക്കുക, സ്റ്റിക്കി ആയിരിക്കുമ്പോൾ അധികമായ മാവു ചേർക്കുക. ഒരു വൃത്തിയുള്ള, എണ്ണമയമുള്ള പാത്രത്തിലേക്ക് മാവ് മാറ്റുക. നനഞ്ഞ തുണി ഉപയോഗിച്ച് പാത്രം മൂടുക, ഏകദേശം 1 മണിക്കൂർ അല്ലെങ്കിൽ ഇരട്ടി വലുപ്പം വരെ ഉയരാൻ അനുവദിക്കുക. നിങ്ങളുടെ അടുപ്പ് 375 ഡിഗ്രി ഫോൺഹീഡിൽ (190 ഡിഗ്രി സെൽഷ്യസ്) മുൻകൂട്ടി ചൂടാക്കുക. ഉയർന്ന മാവ് ചെറുതായി പഞ്ച് ചെയ്ത് ഏകദേശം 10 മിനിറ്റ് കുഴച്ച് ഇളക്കുക. ഒരു എണ്നയുള്ള ലോഫ് പാനിലേക്ക് മാവ് മാറ്റുക. ബ്രഷ് അല്ലെങ്കിൽ സ്പ്രേ ഉപയോഗിച്ച് വെള്ളം മുകളിൽ ഒഴിക്കുക. 40-50 മിനിറ്റുകൾ അല്ലെങ്കിൽ അപ്പത്തിന്റെ മധ്യഭാഗത്ത് ചേർത്ത ഒരു ടൂത്ത്പിക്ക് വൃത്തിയായി വരുന്നത് വരെ ചുടേണം. അടുപ്പിൽ നിന്ന് അപ്പം നീക	അപ്പം ഒരു സുവാസനയുള്ള പാൽപൊടിച്ച ഡീഷാണ്, കേരളത്തിന്റെ പ്രിയപ്പെട്ട ഇടിയാപ്പം അല്ലെങ്കിൽ കറി സഹിതം കഴിക്കാം. ഇതാ ഒരു പരമ്പരാഗത അപ്പത്തിന്റെ റെസിപ്പി:ആവശ്യമായ ചേരുവകൾ:പച്ചരി – 1 കപ്പ്ചിരവിയ തേങ്ങ – 1 കപ്പ്പഞ്ചസാര – 1 ടേബിൾസ്പൂൺഉപ്പ് – ഒരു ചെറിയ ചിറ്റംഈസ്റ്റ് – 1 ടീസ്പൂൺചൂടുവെള്ളം – ആവശ്യത്തിന്തയ്യാറാക്കുന്ന വിധി:അരിയുടെ പിഷ്ടം തയ്യാറാക്കുക: പച്ചരിയെ 4-5 മണിക്കൂർ വെള്ളത്തിൽ കുതിരിക്കുക.ശേഷം, അതിനെ ഗ്രൈൻഡറിൽ അതിൻറെ കൂമയോടെ അരച് ഒരു തണുത്ത മാവാക്കുക.ഈസ്റ്റ് ചേർക്കുക: ചൂടുവെള്ളത്തിൽ ഈസ്റ്റ് കൂടി ചേർത്തു 10 മിനിറ്റ് നനക്കിവെക്കുക, ഇത് വളരാൻ തുടക്കമാകും.അരിച്ച മാവിലേക്ക് ഈสต์ ചേർത്തുകലരുക.മാവ് പാകം ചെയ്യുക: മാവിലേക്ക് തേങ്ങാ ചിരവിൽ നിന്ന് ചോർന്ന കറുവപാൽ, പഞ്ചസാര, ഉപ്പ് ചേർത്തു കലരുക.മാവ് മൃദുവായ, വെള്ളത്തിൽ ഒഴുക്കുന്ന സ്ഥിതിയിലാക്കുക.ഫെർമെന്റേഷൻ: മാവിനെ 6-8 മണിക്കൂർ കൂടാതെവെച്ച് അല്പം കട്ടിയാവാൻ നൽകുക.അപ്പം പാചകം ചെയ്യുക: അപ്പച്ചട്ടി അൽപം എണ്ണ കൊണ്ട് ചൂടാക്കുക.ഒന്നര കപ്പ് മാവ് നടുവിൽ ഒഴിച്ച് ചുറ്റും കല്ലുകൂടി തുടയ്ക്കുക.മദ്ധ്യഭാഗം മൃദുവായവണ്ണം അടച്ചു പാകംചെയ്യുക.സേവിക്കുക: അപ്പം ചൂടോടെ ഇറക്കി, മട്ടൻ കറി, ചിക്കൻ സ്റ്റു, അല്ലെങ്കിൽ തേങ്ങാപാൽ കൂടെ സേവ് ചെയ്യുക.ടിപ്:മാവ് അൽപം മധുരം ഇഷ്ടമില്ലെങ്കിൽ പഞ്ചസാര കുറയ്ക്കാം.ഈസ്റ്റ് ചേർക്കുമ്പോൾ ചൂടുവെള്ളം മാത്രമേ ഉപയോഗിക്കൂ; ഇതും വളരെ ചൂടായാൽ ഈസ്റ്റ് നശിക്കും.അവസാനം, മൃദുവും സ്വാദിഷ്ടവുമായ അപ്പങ്ങൾ നിങ്ങളെ കാത്തിരിക്കുന്നു! 😊

Analysis

The prompt asked for the recipe to make an appam. Navarasa failed to provide the preparation technique and only listed the ingredients. Krutim, on the other hand, gave a detailed recipe with the various steps involved. GPT-4o took it a step even further. It started with a brief description of what appam is, then provided the ingredients and recipe, using subheadings to differentiate the stages clearly. Additionally, it offered helpful cooking tips to the user.

Conclusion

In this article, we experimented with GPT 4o vs Indic LLMs with different Indian regional languages. GPT-4o excels in global language processing and diverse applications with its advanced multimodal capabilities and impressive tokenization efficiency. While GPT-4o remains the clear winner due to its large parameters and token efficiency. Among Indic LLMs, Krutrim performs better in responding to local languages and cultural contexts than Navarasa. As AI evolves, these models may bridge gaps and create more inclusive digital experiences.

Frequently Asked Question