Embora Altman peça a regulamentação do futuro da IA, ele não acha que o modelo atual seja perigoso e acha que seria um grande erro regulá-lo ou bani-lo.
·Os dados internos do OpenAI mostram que as leis de escala do desempenho do modelo (Leis de escala) ainda estão em vigor, tornando o modelo maior continuará a produzir desempenho.
Fonte da imagem: Gerada pela ferramenta Unbounded AI
Na semana passada, mais de 20 desenvolvedores, incluindo o CEO da OpenAI, Sam Altman, e Raza Habib, CEO da plataforma de desenvolvimento de IA HumanLoop, realizaram uma reunião a portas fechadas para discutir a API da OpenAI (interface de programação de aplicativos) e planos de produtos. Alguns dias depois, Raza Habibi publicou um resumo detalhado dos destaques da reunião.
Na discussão, Altman admitiu francamente que o OpenAI é atualmente limitado pela GPU (unidade de processamento gráfico) e falou sobre o plano de código aberto do GPT-3, a atual prioridade do OpenAI e o impacto social da inteligência artificial. Embora Altman peça a regulamentação do futuro da IA, ele não vê o modelo atual como perigoso.
Altman também disse que os dados internos do OpenAI mostram que a lei de que o desempenho do modelo é proporcional à escala ainda é válida, ou seja, quanto maior o modelo, mais forte o desempenho. A OpenAI continuará tentando tornar os modelos maiores, mas eles provavelmente dobrarão ou triplicarão de tamanho a cada ano, não em muitas ordens de magnitude.
Atualmente severamente limitado pela GPU
Um tema recorrente durante a discussão foi que a forte dependência atual da OpenAI em GPUs atrasou muitos de seus planos de curto prazo.
A OpenAI recebeu o maior número de reclamações de usuários sobre a confiabilidade e a velocidade da API. Altman entendeu suas preocupações e explicou que grande parte do problema foi causado pela falta de recursos de GPU.
A função de contexto de tokens de 32k anteriormente suportada pelo ChatGPT não pode ser estendida para mais pessoas, e o OpenAI ainda tem alguns problemas a resolver;
A API de ajuste fino também é atualmente limitada pelos recursos da GPU. Eles ainda não usaram métodos eficientes de ajuste fino, como adaptadores ou LoRa (dois métodos comuns de ajuste fino para modelos grandes), portanto, a operação e o gerenciamento de ajuste fino exigem muitos recursos computacionais. Haverá melhores formas de ajuste fino no futuro. Eles podem até hospedar um mercado para modelos de contribuição da comunidade.
O provisionamento de capacidade dedicada também é limitado pelos recursos da GPU. OpenAI fornece capacidade dedicada para clientes com necessidades privadas, permitindo que os clientes executem dados privados em um espaço dedicado. Para acessar este serviço, os clientes precisam se comprometer com um adiantamento de $ 100.000.
Roteiro OpenAI
Sam compartilhou um roteiro provisório de curto prazo para a API da OpenAI.
Em 2023, a primeira tarefa é obter GPT-4 mais barato e mais rápido; segundo, uma janela de contexto mais longa - em um futuro próximo, a janela de contexto pode atingir até 1 milhão de tokens; terceiro, a API de ajuste fino será expandida para o modelo mais recente, mas a forma específica será determinada pelas necessidades reais dos desenvolvedores; quarto, uma API com estado - ao chamar a API de bate-papo hoje, é necessário passar repetidamente o mesmo histórico de conversa e pagar os mesmos tokens repetidamente. No futuro , haverá uma versão da API que lembra o histórico da conversa.
Em 2024, serão abertas capacidades multimodais. Quando o GPT-4 foi lançado, ele demonstrou recursos multimodais poderosos, mas até que as GPUs estejam satisfeitas, esse recurso não pode ser estendido a todos.
Muitos desenvolvedores estão interessados em acessar plug-ins do ChatGPT por meio da API, mas Altman não acredita que esses plug-ins serão lançados em curto prazo. Além da navegação, o sistema plug-in ainda não encontrou o PMF (Product Market Fit, o melhor ajuste entre produto e mercado).
Altman apontou que muitas pessoas pensam que querem que seu aplicativo esteja dentro do ChatGPT, mas o que eles realmente querem é o ChatGPT dentro do aplicativo.
Altman disse que o OpenAI não lançará mais produtos do que o ChatGPT.
Ele disse que, por convenção, uma grande plataforma terá um aplicativo matador, e o ChatGPT fará esse aplicativo recorde. A visão do ChatGPT é ser um assistente superinteligente para o trabalho, mas há muitos outros casos de uso do GPT que o OpenAI não tocará.
As leis de escala ainda se aplicam
Embora Altman peça a regulamentação do futuro da IA, ele não acha que o modelo atual seja perigoso e acha que seria um grande erro regulá-lo ou bani-lo.
Ele reiterou sua crença na importância do código aberto e disse que a OpenAI está considerando tornar o código aberto GPT-3. A razão pela qual não é de código aberto é porque eles sentem que poucas pessoas e empresas têm a capacidade de gerenciar adequadamente um modelo de linguagem tão grande.
Muitos artigos recentes citaram Altman dizendo que "a era dos modelos gigantes de IA acabou", mas isso não reflete com precisão seu significado original. Ele disse que os dados internos da OpenAI mostram que as leis de escala do desempenho do modelo (Leis de escala) ainda estão em vigor, tornando o modelo maior continuará a produzir desempenho. A taxa de dimensionamento é realmente insustentável, pois a OpenAI ampliou o modelo milhões de vezes em apenas alguns anos e continuar a fazê-lo no futuro não é sustentável. Isso não significa que a OpenAI não continuará tentando aumentar os modelos, apenas significa que eles provavelmente dobrarão ou triplicarão a cada ano, em vez de muitas ordens de magnitude.
O fato de as leis de escala continuarem válidas tem implicações importantes para os cronogramas de desenvolvimento da AGI (inteligência geral artificial), disse Altman. A lei de dimensionamento pressupõe que provavelmente já temos a maioria das peças necessárias para construir a AGI e que a maior parte do trabalho restante será dimensionar os métodos existentes para modelos e conjuntos de dados maiores. Se a era das leis de escala acabar, provavelmente devemos esperar que a AGI esteja muito longe. O fato de as leis de dimensionamento continuarem a funcionar fortemente sugere um curto cronograma para alcançar a AGI.
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
A última revelação de Altman: há uma escassez urgente de GPUs e planos para abrir o código GPT-3 e abrir a multimodalidade no próximo ano
Fonte: O Papel See More
Repórter Shao Wen
Embora Altman peça a regulamentação do futuro da IA, ele não acha que o modelo atual seja perigoso e acha que seria um grande erro regulá-lo ou bani-lo.
·Os dados internos do OpenAI mostram que as leis de escala do desempenho do modelo (Leis de escala) ainda estão em vigor, tornando o modelo maior continuará a produzir desempenho.
Na semana passada, mais de 20 desenvolvedores, incluindo o CEO da OpenAI, Sam Altman, e Raza Habib, CEO da plataforma de desenvolvimento de IA HumanLoop, realizaram uma reunião a portas fechadas para discutir a API da OpenAI (interface de programação de aplicativos) e planos de produtos. Alguns dias depois, Raza Habibi publicou um resumo detalhado dos destaques da reunião.
Na discussão, Altman admitiu francamente que o OpenAI é atualmente limitado pela GPU (unidade de processamento gráfico) e falou sobre o plano de código aberto do GPT-3, a atual prioridade do OpenAI e o impacto social da inteligência artificial. Embora Altman peça a regulamentação do futuro da IA, ele não vê o modelo atual como perigoso.
Altman também disse que os dados internos do OpenAI mostram que a lei de que o desempenho do modelo é proporcional à escala ainda é válida, ou seja, quanto maior o modelo, mais forte o desempenho. A OpenAI continuará tentando tornar os modelos maiores, mas eles provavelmente dobrarão ou triplicarão de tamanho a cada ano, não em muitas ordens de magnitude.
Atualmente severamente limitado pela GPU
Um tema recorrente durante a discussão foi que a forte dependência atual da OpenAI em GPUs atrasou muitos de seus planos de curto prazo.
A OpenAI recebeu o maior número de reclamações de usuários sobre a confiabilidade e a velocidade da API. Altman entendeu suas preocupações e explicou que grande parte do problema foi causado pela falta de recursos de GPU.
A função de contexto de tokens de 32k anteriormente suportada pelo ChatGPT não pode ser estendida para mais pessoas, e o OpenAI ainda tem alguns problemas a resolver;
A API de ajuste fino também é atualmente limitada pelos recursos da GPU. Eles ainda não usaram métodos eficientes de ajuste fino, como adaptadores ou LoRa (dois métodos comuns de ajuste fino para modelos grandes), portanto, a operação e o gerenciamento de ajuste fino exigem muitos recursos computacionais. Haverá melhores formas de ajuste fino no futuro. Eles podem até hospedar um mercado para modelos de contribuição da comunidade.
O provisionamento de capacidade dedicada também é limitado pelos recursos da GPU. OpenAI fornece capacidade dedicada para clientes com necessidades privadas, permitindo que os clientes executem dados privados em um espaço dedicado. Para acessar este serviço, os clientes precisam se comprometer com um adiantamento de $ 100.000.
Roteiro OpenAI
Sam compartilhou um roteiro provisório de curto prazo para a API da OpenAI.
Em 2023, a primeira tarefa é obter GPT-4 mais barato e mais rápido; segundo, uma janela de contexto mais longa - em um futuro próximo, a janela de contexto pode atingir até 1 milhão de tokens; terceiro, a API de ajuste fino será expandida para o modelo mais recente, mas a forma específica será determinada pelas necessidades reais dos desenvolvedores; quarto, uma API com estado - ao chamar a API de bate-papo hoje, é necessário passar repetidamente o mesmo histórico de conversa e pagar os mesmos tokens repetidamente. No futuro , haverá uma versão da API que lembra o histórico da conversa.
Em 2024, serão abertas capacidades multimodais. Quando o GPT-4 foi lançado, ele demonstrou recursos multimodais poderosos, mas até que as GPUs estejam satisfeitas, esse recurso não pode ser estendido a todos.
Muitos desenvolvedores estão interessados em acessar plug-ins do ChatGPT por meio da API, mas Altman não acredita que esses plug-ins serão lançados em curto prazo. Além da navegação, o sistema plug-in ainda não encontrou o PMF (Product Market Fit, o melhor ajuste entre produto e mercado).
Altman apontou que muitas pessoas pensam que querem que seu aplicativo esteja dentro do ChatGPT, mas o que eles realmente querem é o ChatGPT dentro do aplicativo.
Altman disse que o OpenAI não lançará mais produtos do que o ChatGPT.
Ele disse que, por convenção, uma grande plataforma terá um aplicativo matador, e o ChatGPT fará esse aplicativo recorde. A visão do ChatGPT é ser um assistente superinteligente para o trabalho, mas há muitos outros casos de uso do GPT que o OpenAI não tocará.
As leis de escala ainda se aplicam
Embora Altman peça a regulamentação do futuro da IA, ele não acha que o modelo atual seja perigoso e acha que seria um grande erro regulá-lo ou bani-lo.
Ele reiterou sua crença na importância do código aberto e disse que a OpenAI está considerando tornar o código aberto GPT-3. A razão pela qual não é de código aberto é porque eles sentem que poucas pessoas e empresas têm a capacidade de gerenciar adequadamente um modelo de linguagem tão grande.
Muitos artigos recentes citaram Altman dizendo que "a era dos modelos gigantes de IA acabou", mas isso não reflete com precisão seu significado original. Ele disse que os dados internos da OpenAI mostram que as leis de escala do desempenho do modelo (Leis de escala) ainda estão em vigor, tornando o modelo maior continuará a produzir desempenho. A taxa de dimensionamento é realmente insustentável, pois a OpenAI ampliou o modelo milhões de vezes em apenas alguns anos e continuar a fazê-lo no futuro não é sustentável. Isso não significa que a OpenAI não continuará tentando aumentar os modelos, apenas significa que eles provavelmente dobrarão ou triplicarão a cada ano, em vez de muitas ordens de magnitude.
O fato de as leis de escala continuarem válidas tem implicações importantes para os cronogramas de desenvolvimento da AGI (inteligência geral artificial), disse Altman. A lei de dimensionamento pressupõe que provavelmente já temos a maioria das peças necessárias para construir a AGI e que a maior parte do trabalho restante será dimensionar os métodos existentes para modelos e conjuntos de dados maiores. Se a era das leis de escala acabar, provavelmente devemos esperar que a AGI esteja muito longe. O fato de as leis de dimensionamento continuarem a funcionar fortemente sugere um curto cronograma para alcançar a AGI.