Peixe Babel
Uma Inteligência Artificial treinada para ler e escrever que de quebra aprendeu aritmética básica e ainda programação! Estamos falando da GPT-3, o novo modelo de linguagem da OpenAI que está dando o que falar!
A OpenAI é uma empresa fomentanda pelo Elon Musk. A empresa teve a grande ideia de investir todos os seus recursos (financeiros e computacionais) no treinamento do maior modelo de linguagem conhecido até hoje, com 175 bilhões de parâmetros. A I.A. foi treinada com uma quantidade igualmente absurda de dados: 45 terabytes de texto!!!
Será que essa I.A. passa no Teste de Turing?
Será que ela é mesmo Inteligente como um ser humano?
O que é? Onde vive? Do que se alimenta? Hoje, no Peixe Babel.
———————————————————————————–
— Referências:
Paper: https://arxiv.org/pdf/2005.14165.pdf
Página da OpenAI com API Beta do GPT-3 e vídeos com principais exemplos: https://beta.openai.com/?demo=5
Aplicações interessantes da GPT-3: https://medium.com/@pchojecki/crazy-gpt-3-use-cases-232c22142044
Sharif Shameen gerando código:
https://analyticsindiamag.com/open-ai-gpt-3-code-generator-app-building/
Posts do blog do Kevin Lacker (De onde tiramos a maioria dos prints de conversa)
“Giving GPT-3 a Turing Test”
https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
“Conversation with GPT-3”
https://lacker.io/ai/2020/07/23/conversation-with-gpt3.html
Página da GPT-2, antecessora da GPT-3: https://openai.com/blog/better-language-models/
— Outros criadores já falaram sobre ela:
Computerphile sobre GPT-3: https://www.youtube.com/watch?v=_8yVOC4ciXc
Deschamps sobre GPT-3: https://www.youtube.com/watch?v=pbVwH8o837A
Ben Awad (What GPT-3 Means for Developers?) : https://www.youtube.com/watch?v=Yg3C38P5EkA
———————————————————————————–
Para apoiar o Peixe Babel:
Picpay Assinaturas: @canalpeixebabel
Se torne um Membro: https://www.youtube.com/canalpeixebabel/join
Fazendo a social da Mila
Twitter: @milalaranjeira
Instagram: @milalaranjeira
Fazendo a social da Vivi
Twitter: @avivimota
Instagram: @avivimota
Perfis oficiais do canal:
@canalpeixebabel em todas as redes!
Membro do ScienceVlogs Brasil
https://www.youtube.com/channel/UCqiD87j08pe5NYPZ-ncZw2w
Parabéns pelo vídeo! Queria perguntar duas coisas: o que vocês acham do termo "Inteligência Artificial"? Geralmente falo "algoritmos de Machine Learning" pra evitar criar a ideia na cabeça das pessoas de que há algo inteligente dentro do código. Outra coisa: vocês tão acessando a API pelo celular? É um Colab da vida ou um aplicativo?
Mas: o modelo então é tão inovador, ou foi apenas uma coisa OK forçada na força bruta?
Sensacional. O que me assustou também foi o salto que teve do ano passado com a GPT-2 pra GPT-3, fico imaginando como vai estar daqui uns cinco anos, se os avanços forem na mesma proporção hehe
A GPT-3 não sabia a resposta para os arco-iris e perguntou ao google. Isso não passa no teste de Turing, mas passa na escola?
Será que essas perguntas não fazem mesmo sentido ou nós é que não estamos ainda preparados para interpretar as respostas?
Excelente meninas, parabéns!
Alguém sabe onde aprender o aprendizado por reforço (na programação, explicando cada parte), algo completo (na prática)?
SEM SER MAIS UMA INTRODUÇÃO
Segundo a Alexa, o Brasil nasceu em 1939 e está morto há 4 anos
Aliás, é engraçado que durante o video todo ficaram chamando GPT-3 de "ela", como se fosse uma pessoa
Eu fiquei tentando a perguntar coisas que possam revelar a "ideologia" por trás de todos esses textos, no sentido de claro que eles os textos que ela tem não são neutros, logo a pergunta "Qual a melhor forma de distribuição de recursos econômicos? " pode mostrar os inputs dela.
Ótimo vídeo. Amo vcs <3 (e principalmente o Yorkshire)
melhor vídeo que vi sobre o assunto! informativo, leve e sem alarmismo afirmando que a IA vai substituir programadores
Abordagem bem interessante! Gostei!
Ah, o Turim foi muito fofo na sua rápida aparição… rs
O pensador profundo usou GPT-3 quando respondeu que a resposta sobre a vida, o universo e tudo mais era 42.
Você pode pensar de outra forma: GPT-3 é um modelo de linguagem, que para aumentar a score de treinamento, via gradiente descendente, "verificou" que a única forma de ter crescer a pontuação é generalizar as tasks que ela pode fazer até certo ponto. Estão chamando isso de "prompt engineering", um nome um pouco ruim, mas a ideia é assumir que GPT-3 sabe mais do que podemos testar de forma superficial, porém, é preciso identificar qual tarefa entre o espaço de todas as tarefas possíveis que você quer que ela faça. Pra isso, é necessário por o prompt certo. Um exemplo: você quer que ela complete com a resposta correta ou é um jogo de quem inventa melhor? A girafa é o animal ou algo que você inventou? Ela não tem o luxo de ter senso comum pra poder aumentar a score acima de um certo ponto. Minha hipótese é que a próxima iteração do modelo vai ter um contexto maior e mais dados, porém aumentar pouco o número de parâmetros. Eu noto um pouco de overfitting já em algumas frases copiadas diretamente de autores famosos. Outro ponto é tornar "justo". GPT-3 não deveria a princípio memorizar coisas, então como podemos esperar que ela saiba uma resposta sem pesquisar no Google? Pegue um texto que indique que mamíferos deveriam ter dois olhos e um que indique de forma superficial que uma girafa é um mamífero, e GPT-3 com sucesso acerta o número de olhos. Temos que lembrar que AGI não necessariamente precisa ser humana, nem ter senso comum. Então a pergunta que fica é: se eu escalar um modelo de linguagem (GPT), um agente de aprendizagem por reforço (ainda não descoberto, é minha área de pesquisa) e um modelo de detecção de imagens, sons e gostos (baseados em alexnet, imagenet, etc) que sejam gerais o bastante, a uma fração do número de conexoes do cérebro humano, podemos esperar uma AGI sendo a combinação dos três modelos? Em outras palavras, inteligência, sapiência e consciência são propriedades emergentes de modelos de linguagem, detecção e agentes quando suficientemente complexos e suficientemente grandes? Minha resposta em janeiro seria um veemente não, e que inteligência tem um tempero a mais, sabe? Agora já não sei mais. Eu ficaria surpreso se esse for o caso, mas não tanto quanto no início do ano. Pra mim, essa é a significância da GPT-3 e mais geralmente dos modelos Transformers. Isso também aponta que model based reinforcement learning pode ser realmente a chave pra um agente geral.
Parabéns pelos vídeos! Sou médico e apaixonado por programação e estatística. Fui monitor de Bioestatística por 3 anos na Facu. Por favor, “façam” um vídeo sobre os dados do Registro Civil (portal da transparência) para não incorrermos no viés de confirmação.
Abraço!
É muito gratificante ver que meus conceitos Allan Turing estão sendo aplicador na física moderna.
boa!
Acho que vocês deviam pesquisar mais antes de falar certas coisas! Por exemplo: “se alguém conseguir fazer um auto complete com isso…” como assim ? Já tem um monte de vídeo mostrando isso
adoro o canal de vcs, aprendo muito aqui e me interesso em aprofundar na area, atualmente estou estudando direito, e quero mesclar com essa area tecnológica, mecho com computadores desde meus 11 anos, sei o conceito de algoritimo, entre outras coisas de como as tecnologias funcionam, mas nunca programei…(até agora…) mas pretendo aprender também, parabéns pelo trabalho, e quem sabe nos esbarramos pelas internets!
Essa resposta do arco íris é exatamente o tipo de resposta para vida verdade e o universo