CreditChat : Os Benefícios da Integração da IA Generativa a uma Plataforma de Análise e Automação de Crédito
Alexandre Marinho, Alexandre Fazolin e Joseph Guarese
A análise e avaliação do risco de crédito de pessoas jurídicas, desempenha um papel fundamental na tomada de decisões referentes ao estabelecimento dos valores de limites e vigências concedidos a estas empresas em função do seu grau de risco e o retorno esperado em função de aspectos como reciprocidade e relacionamento.
A utilização de técnicas de inteligência artificial na automação de crédito não é algo novo, remontando ao final dos anos 80, quando começaram a surgir os primeiros sistemas especialistas em análise de crédito, baseados em tecnologias como árvores de decisão, regressão logística e redes neurais.
Não obstante, os recentes avanços da tecnologia de IA Generativa abre uma ampla gama de novas possibilidades. Os Chatbots baseados em modelos de LLM (Large Language Models) como o ChatGPT, vêm ganhando grande popularidade devido à sua capacidade de efetuar atividades complexas de forma automatizada e personalizada, revolucionando a forma de operar das organizações.
Em função disso, nos próximos anos as customizações dos modelos de LLM possibilitação o aumento vertiginoso da produtividade das organizações através da automatização de tarefas complexas do dia-a-dia. Áreas como Finanças, Marketing & Vendas, Programação, e muitas outras serão profundamente beneficiadas por esta evolução.
O Chat GPT
Recentemente, a introdução da Plataforma ChatGPT pela OpenAI revolucionou o mundo da IA Generativa. O ChatGPT utiliza técnicas de Deep Learning, processamento de linguagem natural (NLP) e tecnologia LLM para gerar respostas semelhantes às humanas às consultas dos usuários.
Como não podia deixar de ser, todo a indústria de finanças e particularmente as áreas de gestão de risco, análise, aprovação e revisão de crédito serão profundamente impactadas com a possibilidade de utilização desta tecnologia em atividades como geração de relatórios de análise, revisões automatizadas de limites operacionais e workflows dinâmicos de aprovação.
Aplicações do ChatGPT na Área de Crédito
São inúmeras as aplicações do ChatGPT na Área Financeira e particularmente na Área de Análise de Crédito. Dentre os diversos casos de uso em que a IA Generativa pode ser utilizada, destacam-se os seguintes:
• Análise de Balanços
• Análise de Propostas de Crédito
• Revisão de Linhas e Limites de Crédito
• Análise de Carteiras de Crédito
• Análise de Contencioso
• “Peer Analisys”
• Confecção de Relatórios e Apresentações de Crédito
• Suporte à Decisão em Comitês de Crédito
A análise e compilação de grandes quantidades de dados financeiros pode ser demorada e sujeita a erros humanos, sobretudo se efetuada por profissionais com menor experiência.
O ChatGPT é muito eficiente na análise de grandes quantidades de dados, podendo avaliar simultaneamente aspectos cadastrais, informações internas e externas, índices financeiros e notícias sobre a Empresa, detectando tendências e identificando riscos de crédito potenciais.
Adicionalmente, efetuar análises atualizadas com base em tendências, notícias e sentimentos de mercado agrega valor substancial para uma gestão eficaz do risco de crédito.
Ao automatizar este processo, as Organizações possibilitarão aos analistas de crédito economizarem um tempo valioso utilizado na elaboração de relatórios de análise de crédito e utilizá-lo em atividades como visitas a clientes e aprimoramento da capacidade de detectar padrões de inadimplência de crédito para refinamento dos modelos, no sentido de apresentar previsões precisas e contextualmente relevantes.
O CreditChat
Desde sua fundação, há 25 anos, a SIACorp emprega técnicas de Inteligência Artificial como decision forests, redes bayesianas e regressão logística nos modelos de cálculo de rating e sugestão de limites de sua Plataforma de Automação de Crédito CreditFlow.
Vislumbrando o potencial de utilização da tecnologia de IA Generativa no processo de análise e concessão de crédito, a SIACorp criou o CreditChat, um Chatbot para Análise de Crédito totalmente integrado à Plataforma de Automação de Crédito CreditFlow .
O CreditChat é uma aplicação de IA generativa que se utiliza dos recursos de integração do ChatGPT disponibilizados pela Open.Ai. para acessar informações provenientes de diversas fontes e gerar análises de crédito ricamente elaboradas, podendo ser adaptado às necessidades específicas do negócio, incluindo a incorporação de bases de conhecimento exclusivas da empresa, e normas regulatórios, que possibilita que ele forneça respostas extremamente precisas e relevantes.
Estas informações incluem o cadastro do cliente, seus demonstrativos financeiros, informações de pontualidade (acessadas dinamicamente no módulo de contas a receber do Sistema de ERP ou Core Banking), restrições (acessada em birôs de crédito) e informações comportamentais, que são carregadas automaticamente pelos módulos do CreditFlow no ChatGPT construindo dinamicamente o prompt submetido para geração da Análise.
Uma versão futura do CredtChat incorporará notícias recentes. Como a base de conhecimento da versão atual ChatGPT está treinada com notícias até julho de 2023 decidimos não incorporar o tratamento de notícias neste momento.
APIs, Engenharia de Prompt e Treinamento de Modelos
Através de técnicas avançadas de integração e engenharia de prompt, utilizamos o ChatGPT para gerar contexto no formato JSON a partir de informações providas pela Solução CreditFlow e em seguida as utilizamos como entrada para a API da Open.AI, exportando ao final as informações geradas pelo ChatGPT no formato JSON/XML e renderizando relatórios dinâmicos de análise.
As APIs e Ferramentas da Open.Ai podem ser utilizadas para customizar o ChatGPT no que se refere à Geração de Textos, Engenharia de Prompts, Embeddings, Speech to Text e Text to Speech, Geração de Imagens, Ajuste Fino de Modelos e Visão. Para a implementação do CreditChat a SIACorp se concentrou na utilização dos APIs no âmbito da Geração de Textos e da Engenharia de Prompts.
Informações Analisadas
Dentre as informações submetidas pelo CreditChat ao ChatGPT podemos destacar aspectos como:
• Informações Cadastrais
• Informações Financeiras Internas (ERP ou Core Banking)
• Informações Financeiras Externas (Birôs de Crédito)
• Informações e Endividamento (Bacen SCR)
• Informações de Garantias
• Critérios de Scoring e Rating de Crédito
• Conformidade Regulatória
Além disso, o sistema é capaz de ler arquivos e pode ser treinado com grandes volumes de informações contidas em documentos como:
• Balanços
• Padrões de Crédito do Setor
• Indicadores de Saúde Financeira
• Relatórios de Crédito Anteriores
Com base nas informações carregadas a partir do CreditFlow através da Open.AI Library e submetidas automaticamente ao ChatGPT, o módulo CreditChat elabora análises de crédito detalhadas e complexas, que consideram todos os aspectos analisados, obtidos a partir da submissão de perguntas (ou prompts) ao ChatGPT.
Engenharia de Prompt
A Engenharia de Prompts é uma das atividades mais importantes no âmbito da IA Generativa.
Este tema é tão relevante que a SIACorp criou uma Área de Engenharia de Prompts, dedicada ao estudo e elaboração das perguntas ideais (em JSON e em linguagem natural) para obter as melhores respostas possíveis com relação a temas ligados à análise de crédito.
Escrever os dados na tela de prompt do ChatGPT funciona bem em situações nas quais se deseja obter respostas a consultas realizadas sobre um conjunto de dados relativamente pequeno.
No entanto não é a melhor maneira de trabalhar com um grande conjunto de documentos ou páginas web como entrada para o LLM, devido à limitação no tamanho do prompt e ao custo associado à passagem de texto grande para o ChatGPT.
Para implementar o CreditChat a SIACorp criou prompts customizados, além de treinar a base de conhecimento do ChatGPT com dados e documentos armazenados no CreditFlow, conforme apresentado na figura a seguir.
Dentre as diversas técnicas de Engenharia de Prompts disponíveis podemos citar o Chain-of-Thought (COT) Prompting (utilizada pela SIACorp na implementação do CreditChat) o Zero-Shot Prompting, Few-Shot-Prompting, Tree of Thoughts Automatic Reasoning e muitas outras.
Através da utilização da técnica COT, o ChatGPT pode gerar uma série de etapas intermediárias para levar à resposta final, fornecendo informações detalhadas, bem como razões e justificativas para suas respostas.
Embeddings
Embedding é uma técnica de representação de informações como texto, imagem ou áudio, em forma numérica. O diagrama abaixo explica conceitualmente como os embeddings são usados para recuperar informações de documentos usando LLM.
Embeddings são muito utilizados na Solução CreditChat, que incorpora em suas análises informações contidas em documentos regulatórios, demonstrativos financeiros, relatórios de acionistas e portfolios da empresa.
RAG
A técnica RAG (Retrieval Augmented Generation) é utilizada para aumentar a precisão e confiabilidade dos LLMs, expandindo sua base de conhecimento. Através desta técnica, é possível construir soluções com dados privados e utilizar a inteligência de um LLM sem precisar treiná-lo novamente, uma vez que incorporam informações direcionadas, que podem estar mais atualizadas que o conjunto utilizado em seu treinamento ou serem específicas de um contexto particular.
Elaboração de Apresentações, Relatórios e Avaliações de Crédito
O CreditChat gera apresentações para comitê e relatórios de crédito ricamente elaborados, graças à integração entre IA Generativa e todo o acervo de documentos e informações internas e externas gerenciados pelos Módulos do CreditFlow.
O CreditChat acessa informações na Plataforma CreditFlow e as submete como entrada para as APIs do ChatGPT. Com base nas informações carregadas a partir do CreditFlow submetidas ao ChatGPT, o CreditChat elabora análises de crédito detalhadas e complexas, que consideram milhares de informações simultaneamente, de forma totalmente aderente à políticas e parâmetros definidos pela empresa.
Além dos textos gerados automaticamente pela IA Generativa, os relatórios gerados pelo CreditChat incorporam KPIs, KRIs, gráficos, mapas, semáforos e amplos recursos visuais para apresentar a situação creditícia da empresa sob análise.
As análises e pareceres emitidos pelo CreditChat são gerados através de técnicas robustas de LLM integradas aos demonstrativos financeiros, informações de pontualidade (acessadas dinamicamente no módulo de contas a receber do Sistema de ERP ou Core Banking), endividamento (Bacen SCR), restrições (acessada em birôs de crédito) e informações comportamentais.
Arquitetura Técnica da Solução
A tecnologia de IA Generativa demanda sistemas de computação de alto desempenho, visando um processamento mais rápido para lidar com as grandes quantidades de dados geradas pelas aplicações.
Toda a Plataforma CreditFlow, incluindo o CreditChat, está implementada em arquitetura nativa em nuvem com suporte a containers e microserviços.
O CreditChat foi implementado em C#, na Plataforma Microsoft .NET 8.0. Em sua implementação adotamos uma grande variedade de tecnologias de ponta para garantir à Plataforma um altíssimo nível de performance, robustez e portabilidade.
Dentre as tecnologias utilizadas destacam-se as seguintes.
• ASP.NET WebApi Core with JWT Bearer Authentication e ASP.NET Identity Core: Implementamos autenticação JWT Bearer para garantir a segurança de ponta a ponta em nossas operações, simplificando a gestão de identidade e permitindo uma autenticação e autorização eficientes.
• .NET Core Native DI: Adotamos injeção de dependência nativa para possibilitar uma arquitetura mais modular e fácil de manter.
• AutoMapper e FluentValidator: Automatizamos processos e validações, simplificando o desenvolvimento e garantindo a consistência dos dados.
• MediatR: Facilitamos a comunicação entre os componentes do sistema, promovendo uma arquitetura desacoplada e escalável.
• Domain Driven Design e CQRS: Adotamos um design orientado por domínio, separando operações de leitura e escrita para maior eficiência e escalabilidade.
• Event Sourcing e Unit of Work: Rastreabilidade e flexibilidade são garantidas, permitindo uma visão histórica dos dados e uma manutenção modular.
• Application Insights: Utilizamos métricas detalhadas para identificar e resolver problemas rapidamente, garantindo uma experiência contínua para os usuários.
Metodologia de Testes
A figura a seguir apresenta a metodologia usada pela SIACorp para testar o ChatGPT proposta por Xingzhi Wanga, Nabil Anwerb e Yun Daic Ang Liua em (1), na qual respondemos a perguntas separadas em seis tópicos referentes aos processos de Análise e Revisão de Crédito.
Os tópicos referentes a Análise de Crédito abrangem aspectos como Análise Cadastral (que envolve a avaliação de uma larga gama de dados referentes à situação da empresa) , Análise Financeira (que considera a análise fundamentalista dos demonstrativos financeiros) e Análise Comportamental (que considera os pagamentos de empréstimos e contas a receber).
Os tópicos referentes à Revisão de Crédito abrangem aspectos como Análise da Rentabilidade, Análise de Reciprocidade e Análise do Relacionamento do cliente com a Organização.
O desempenho do CreditChat foi avaliado com base nas respostas a dezenas de perguntas referentes a aspectos cadastrais, financeiros e de comportamento da empresa, além de normas do Banco Central e análises setoriais.
Além disso, modificando algumas perguntas padrão, várias perguntas-armadilha foram geradas para testar sua flexibilidade cognitiva.
Com base na Taxonomia de Bloom Revisada (2), as perguntas foram categorizadas em quatro níveis de dificuldade:
• Nível 1 - Conhecimento Básico
Consite em compreender e explicar conceitos referentes à análise de crédito;
• Nível 2 - Aplicação do Conhecimento
Consiste em escolher, empregar, ilustrar e demonstrar conceitos para resolver problemas específicos apropriadamente.
• Nível 3 - Análise Crítica
Consiste em dividir as informações em grupos de componentes para compreender sua natureza ou determinar características.
• Nível 4 - Extensão do Conhecimento
Consiste na síntese de novos conhecimentos e implementação de inferências.
Em seguida, as respostas geradas foram avaliadas em relação a quatro características qualitativas: correção, relevância, clareza e comparabilidade.
Enquanto a correção e a relevância são dois requisitos básicos, clareza e comparabilidade representam requisitos desejáveis.
Nos casos em que o ChatGPT não atendeu aos requisitos básicos, seu desempenho foi considerado baixo, o que indica que ele ainda não está pronto para efetuar trabalho humano relevante.
Nos casos em que o ChatGPT atendeu aos quatro requisitos, seu desempenho foi considerado alto, ou seja, comparável ao de analistas humanos.
Nos demais casos seu desempenho foi considerado médio, o que significa que atingiu um desempenho aceitável, mas ainda há espaço para melhorias.
A figura a seguir mostra uma visão geral dos resultados dos testes. Em um conjunto de perguntas divididas em quatro categorias, por sua vez divididas em seis tópicos, o ChatGPT alcançou alto desempenho em 15 das 24 categorias e obteve desempenho médio em 9 categorias.
Nossos testes foram bastante satisfatórios e indicaram que o CreditChat foi treinado adequadamente com conhecimento técnico em análise de crédito, podendo ser utilizado para alavancar substancialmente a produtividade nas Áreas de Crédito das Organizações.
Como o CreditChat está conectado ao CreditFlow , uma Plataforma de Automação de Crédito convencional, o conhecimento codificado em políticas, regras, lógicas e modelos, acessados pelo CreditFlow são disponibilizados para o ChatGPT, aumentando o seu conhecimento e simplificando o processo de rastreamento para verificação.
Nossos testes também mostram que a confiabilidade das respostas é intimamente relacionada à construção dos prompts submetidos. Para a mesma pergunta, diferentes respostas podem ser obtidas se interagirmos com o ChatGPT diferentemente.
Implantação do CreditChat
Para aproveitar totalmente os benefícios do ChatGPT e ao mesmo tempo mitigar suas limitações, a SIACorp implementou um modelo de três camadas para implementação do CreditChat proposto por Xingzhi Wanga, Nabil Anwerb e Yun Daic Ang Liua em (1), conforme ilustrado na figura a seguir.
Em cada camada, tarefas específicas devem ser executadas de acordo com seu nível de complexidade ou prioridade.
• Camada de Conhecimento (Knowledge Layer)
A camada de conhecimento é o núcleo do modelo e consiste no carregamento da base de conhecimento com conhecimento técnico especializado em análise de crédito, normas e procedimentos da organização e documentos regulatórios, possibilitando a geração de análises robustas e consistentes.
• Camada de Raciocínio (Reasoning Layer)
Consiste na configuração dos modelos de análise e motores de inferência utilizados pelo CreditChat, baseados em metodologias como forest trees, regressão logística e redes bayesianas.
• Camada de Colaboração (Collaboration Layer)
Esta camada representa o grande desafio para as organizações, que deverão reestruturar os papéis dos profissionais de crédito e os procedimentos operacionais para permitir a colaboração mais eficaz com ChatGPT, envolvendo-os no processo de verificação dos modelos que vão sendo gradativamente refinados .
Conclusão
Neste artigo, apresentamos o CreditChat, um Chatbot para Análise de Crédito totalmente integrado à Plataforma de Automação de Crédito CreditFlow , que agrega imenso valor ao processo de produção de relatórios de análise de crédito de forma abrangente, criativa e objetiva, mostrando assim seu potencial de utilização para esta finalidade.
Concluímos que a implementação da IA Generativa na avaliação de risco de crédito oferece benefícios, como aumento vertiginoso na velocidade e a eficiência da análise de grandes conjuntos de dados, minimizando o potencial de preconceito e erro humano, e apresentando avaliações de risco objetivas e consistentes. Por último, permite uma gestão proativa do risco, identificando potenciais cumprimentos ou incumprimentos numa fase inicial, permitindo aos gestores de crédito tomarem as medidas necessárias para mitigar os riscos.
Nossa conclusão é que o ChatGPT é impressionantemente eficiente no fornecimento de informações, gerando conteúdo coerente e estruturado. Brevemente publicaremos estudos referentes a temas como embedding, raciocínio abdutivo e treinamento nas camadas de conhecimento e de raciocínio.
Nos próximos anos a evolução dos modelos de LLM possibilitará o aumento vertiginoso da produtividade no segmento de automação de crédito e gestão de risco e a SIACorp está muito preparada e à disposição da sua organização para assessorá-la nesta transição.
Publicado por:
Alexandre Marinho é Presidente da SIACorp e atua há mais de 45 anos em Tecnologia da Informação e Inteligência Artificial e há mais de 35 implantando Sistemas de Automação de Crédito
Alexandre Fazolin é Sócio da SIACorp, atuando há 18 anos na Área de TI, liderou a implantação do CreditFlow em dezenas de projetos no Brasil e Exterior.
Joseph Guarese é Sócio da SIACorp e especialista em arquiteturas distribuídas em nuvem para Automação de Crédito.
Sobre a SIACorp
Atuando desde 1998 na Implementação de Sistemas de Automação de Crédito, a SIACorp é a Empresa com maior número de implantações de Sistemas de Análise de Crédito do Brasil. Para saber mais sobre a Solução CreditFlow, ferramenta voltada para a automação dos processos de Originação, Análise, Aprovação e Gestão de Risco de Crédito, clique aqui para agendar uma demonstração em compromisso !