Please use this identifier to cite or link to this item:
http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/38165| Title: | Avaliando modelos de linguagem grande na resolução de problemas de lógica da OBI. |
| Other Titles: | Evaluating large language models on the solution of logic problems in the brazilian informatics olympiad. |
| ???metadata.dc.creator???: | SOUZA, João Vitor de Melo Cavalcante e. |
| ???metadata.dc.contributor.advisor1???: | GHEYI, Rohit. |
| ???metadata.dc.contributor.referee1???: | ALMEIDA, Hyggo Oliveira de. |
| ???metadata.dc.contributor.referee2???: | BRASILEIRO, Francisco Vilar. |
| Keywords: | Modelos de Linguagem Grande (LLM);Olimpíada Brasileira de Informática (OBI);Lógica;Chat GPT 3.5;Le Chat Mistral;Problemas de Lógica;Resolução de Problemas;Large Language Models (LLM);Brazilian Informatics Olympiad (OBI);Logic;Logic Problems;Problem Solving |
| Issue Date: | 15-May-2024 |
| Publisher: | Universidade Federal de Campina Grande |
| Citation: | SOUZA, João Vitor de Melo Cavalcante e. Avaliando modelos de linguagem grande na resolução de problemas de lógica da OBI. 2024. 10 f. Artigo (Bacharelado em Ciência da Computação) - Universidade Federal de Campina Grande, Centro de Engenharia Elétrica e Informática, Campina Grande, Paraíba, Brasil, 2024. |
| ???metadata.dc.description.resumo???: | Modelos de Linguagem Grande (LLM) se tornaram populares, com modelos de fácil acesso e cada vez mais perspicazes, tais como Chat GPT, Gemini, Claude, Mistral, dentre outros. Com uma grande gama de possíveis utilizações em uma era digital, os LLMs tem uma crescente utilização, sendo possíveis suas atuações em diversos campos, inclusive no de aprendizado humano. Mediante isto, é considerável saber e ponderar sobre tais ferramentas e como podem ajudar na resolução de problemas lógicos encontrados na Olimpíada Brasileira de Informática (OBI) para alunos do ensino fundamental. Neste trabalho avaliamos o Chat GPT 3.5 e o Le Chat Mistral com 100 questões de lógica da OBI. O Chat GPT acertou 23% delas, enquanto que o Mistral Le Chat acertou 36%das questões, ambos na primeira tentativa. |
| Abstract: | Large Language Models (LLM) have become popular, with easy to access and more and moreinsightful models, such as Chat GPT, Gemini, Claude, Mistral, among others. With a wide range of possible utilizations in a digital era, LLMs have a growing use in the most diverse fields, specially on human learning. For this reason, it’s important to study and consider such tools and how they can help in solving logical problems found in the Brazilian Olympiad in Informatics (OBI). In this study, we evaluated Chat GPT 3.5 and Le Chat Mistral with 100 logic questions from OBI. Chat GPT answered 23% of them correctly, while Mistral Le Chat answered 36% of the questions correctly, both on the first attempt. |
| Keywords: | Modelos de Linguagem Grande (LLM) Olimpíada Brasileira de Informática (OBI) Lógica Chat GPT 3.5 Le Chat Mistral Problemas de Lógica Resolução de Problemas Large Language Models (LLM) Brazilian Informatics Olympiad (OBI) Logic Logic Problems Problem Solving |
| ???metadata.dc.subject.cnpq???: | Ciência da Computação |
| URI: | http://dspace.sti.ufcg.edu.br:8080/jspui/handle/riufcg/38165 |
| Appears in Collections: | Trabalho de Conclusão de Curso - Artigo - Ciência da Computação |
Files in This Item:
| File | Description | Size | Format | |
|---|---|---|---|---|
| JOAO VITOR DE MELO CAVALCANTE E SOUZA-ARTIGO-CIÊNCIA DA COMPUTAÇÃO-CEEI (2024).pdf | 542.72 kB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.