O ChatGPT, um novo modelo de conversação de IA disponibilizado publicamente pela OpenAI , conquistou a Internet e se tornou o assunto de inúmeros memes usando as respostas assustadoramente precisas que o software pode produzir. A OpenAI é uma organização sem fins lucrativos que aqueles familiarizados com o espaço da inteligência artificial conhecerão bem. A empresa foi fundada em San Francisco por Sam Altman (atual CEO), Ilya Sutskever (atual Chief Scientist) e outros engenheiros – com assistência financeira adicional de Elon Musk. Embora Musk seja apontado como cofundador da empresa e continue sendo um doador, ele renunciou ao conselho em 2018.
Os fundadores arrecadaram mais de US$ 1 bilhão no total, que desde então foram gastos no desenvolvimento de várias tecnologias de IA, como o gerador de imagens DALLE-2, entre outros feitos computacionais notáveis. O ChatGPT é uma reformulação do modelo de linguagem principal da empresa (GPT-3.5) para se envolver em conversas e responder a perguntas de um parceiro humano. É uma extensão da versão Instruct do modelo GPT cujo foco era a educação, o que pode explicar a propensão do ChatGPT para responder a perguntas humanas.
Entendendo a tecnologia por trás do GPT da OpenAI
Para entender o ChatGPT, é crucial entender o que é o GPT da OpenAI, ou Transformador pré-treinado generativo. GPT é um modelo de linguagem, que é um sistema usado por linguistas computacionais para definir a probabilidade de qualquer sequência de palavras. Usando essas probabilidades, os modelos de linguagem podem efetivamente prever, analisar e até mesmo produzir sentenças e sequências de palavras, criando a impressão de que o computador “entende” a linguagem que modela.
Explicar completamente o campo da linguística computacional por si só poderia preencher centenas de livros, mas a coisa mais importante a entender é que o GPT é um tipo de modelo de linguagem que estuda um grande conjunto de dados e depois calcula a probabilidade de qualquer sequência de palavras. O GPT é especificamente um modelo de linguagem autorregressivo, o que significa que usa informações anteriores em seu conjunto de dados para prever informações futuras.
Além de ser um modelo de linguagem, o conceito da OpenAI de um transformador pré-treinado generativo envolve o treinamento do modelo de linguagem por meio de um processo de dois estágios. A primeira etapa é chamada de “pré-treinamento”, que envolve o GPT sendo deixado para aprender com o conjunto de dados com base em parâmetros predefinidos. A segunda etapa envolve o ajuste fino do aprendizado contínuo do GPT com supervisão humana para otimizar os resultados das tarefas direcionadas. O GPT é tecnicamente chamado de aluno de propósito geral, o que significa que seu aprendizado não é focado na conclusão de tarefas singulares. Essa mistura de liberdade e supervisão humana é fundamental para garantir um modelo de linguagem flexível e preciso.
O estado do modelo de linguagem GPT da OpenAI
O lançamento original do GPT em 2018 não causou grande impacto público da mesma forma que o GPT-2 e o 3 . O GPT-2, essencialmente a mesma tecnologia do GPT original, mas com um conjunto de dados significativamente maior, foi a última instância do software verdadeiramente de código aberto. A natureza de código aberto do GPT-2 o tornou popular entre os entusiastas, e até mesmo encontrou seu caminho para projetos de jogos como o AI Dungeon , gerador de texto-aventura . O AI Dungeon e muitos outros usuários dos modelos de linguagem GPT fizeram a mudança para os superiores GPT-3 e 3.5, que foram um afastamento da chamada abordagem aberta da OpenAI para sua tecnologia.
A Microsoft basicamente comprou os direitos exclusivos do GPT-3 em 2020, depois de fazer um investimento de US $ 1 bilhão no OpenAI em 2019. Atualmente, indivíduos e empresas podem apenas alugar acesso à API da tecnologia, o que significa que a Microsoft pode usar o modelo para gerar saída, mas ninguém pode. modificar o código real por trás do modelo.
Esse controle monopolista sobre uma parte tão influente da pesquisa moderna de IA levantou muitos alarmes, mas o sucesso contínuo de DALLE-2, ChatGPT e outras aplicações comerciais do modelo GPT tem sido difícil de negar. À medida que os algoritmos de aprendizado profundo e a tecnologia de IA avançam, um retorno aos princípios de código aberto da OpenAI à medida que essas ferramentas amadurecem promoveria maior segurança e acessibilidade.