A empresa divulga um relatório com as maiores tendências e desafios a serem enfrentados para o setor em 2024
“O último ano foi desafiador”, afirma Marcelo Saburo, gerente Nacional da empresa no Brasil. “A evolução das ferramentas tecnológicas, e seu consequente uso por parte de criminosos, significou que existem ainda mais fatores a serem considerados na hora de se elaborar estratégias de proteção de Dados.”
A companhia afirma que a Inteligência Artificial, em especial seus modelos Generativos, devem ditar as principais tendências para o próximo ano. Confira:
Novas políticas de IA
Ao oferecer eficiência e ganho de produtividade para tarefas do dia a dia, os benefícios providos pela Inteligência Artificial se tornam inegáveis. Por outro lado, também precisam ser analisados os risos apresentados por esse instrumento. Aprender mais sobre as ferramentas da IA Generativa se torna uma necessidade atualmente, principalmente quando o assunto é segurança corporativa e os riscos apresentados.
“Tanto para empresas pequenas quanto grandes, é fundamental adotar a política de Zero Trust quando falamos de IA. As empresas que optam por utilizarem GPTs já existentes tendem a ficar mais suscetíveis a danos ou ataques aos seus Dados corporativos. Por outro lado, instituições que optam por desenvolverem seus próprios GPT terão ainda mais opções a considerar. Muitas vezes, as políticas corporativas e de segurança existentes cobrirão o uso de dados quando GPTs personalizados forem implementados internamente”, afirma Saburo.
A aplicação prática do LoRA em um modelo de linguagem de código aberto sem censura revelou-se acessível
Riscos para a segurança
A rápida evolução do uso da IA por criminosos, evidenciada pelo surgimento de malwares como DarkBERT e FraudGPT, intensifica a necessidade de compreender e abordar a segurança em seu contexto.
A exploração das capacidades de modelos de linguagem de código aberto, como ChatGPT, conduziu a reflexões sobre ajuste fino. O desafio era discernir as possibilidades de adaptação desses modelos para criar malware sofisticado, capaz de orquestrar ataques complexos, como phishing e exfiltração de Dados. A busca por métodos eficazes de ajuste fino, como o LoRA (Adaptação de baixo nível de modelos de linguagem grande), destacou-se como uma abordagem viável, oferecendo resultados promissores com custos relativamente baixos.
A aplicação prática do LoRA em um modelo de linguagem de código aberto sem censura revelou-se acessível. Essa abordagem, combinada com a possibilidade de compartilhar o modelo ajustado, aponta para um cenário em que grupos criminosos podem facilmente adotar e distribuir Inteligência Artificial treinada para fins maliciosos, ampliando as ameaças globais de segurança cibernética.
Mitigação
Empresas como Samsung e Verizon proibiram inicialmente a IA devido aos riscos percebidos para informações confidenciais, mas sua implementação segura é crucial, especialmente quando Dados são irreversivelmente introduzidos no ecossistema.
O uso de ferramentas privadas de IA apresenta ser mais seguro, porém muitas organizações dependem de soluções públicas, como o ChatGPT. Isso implica nos Dados não serem mais exclusivamente de propriedade da empresa, o que enfatiza ainda mais a necessidade de focar na prevenção da exposição de informações sensíveis. É por isso que o objetivo de incorporar a IA deve centrar-se na prevenção da introdução indevida de informações sensíveis ao grande desconhecido da IA gerativa pública.
“Entendemos que as políticas de segurança da IA se tornarão tão essenciais para defender a competitividade de uma empresa como são hoje as políticas de confidencialidade. O objetivo deve ser saber exatamente quais aplicativos os funcionários usam e com quais Dados eles estão interagindo, para evitar que essas ferramentas prejudique o direito de propriedade do seu conteúdo”, diz Saburo.
Um programa de governança de IA bem-sucedido precisa:
Definir o uso seguro de aplicativos e processos de IA
Garantir investimentos de recursos multifuncionais entre unidades de negócios
Mostrar dedicação à integração e implantação seguras em departamentos e divisões
Envenenamento de Dados
À medida que os algoritmos se tornam um elemento básico da vida cotidiana, novas superfícies de ataques são detectadas. Manipulando-os, atacantes podem controlar os resultados. Esse tipo de ataque, chamado envenenamento de Dados, está se tornando mais recorrente à medida que os invasores ganham acesso a maior poder computacional e a novas ferramentas.
Olhando para 2024, considerando a popularidade e a adoção de novas ferramentas de aprendizagem automática e IA, as empresas podem esperar ver um aumento nos ataques de envenenamento de Dados. Baseando-se nisso, conheça os tipos existentes de envenenamento de Dados:
Ataque de disponibilidade (availability attacak): todo o modelo é corrompido, causando falsos positivos, falsos negativos e amostras de teste classificadas incorretamente;
Ataque Backdoor: um ator introduz backdoors (ou seja, um conjunto de pixels no canto de uma imagem) em um conjunto de exemplos de treinamento, fazendo com que o modelo os classifique incorretamente e impactando a qualidade do resultado;
Ataques direcionados: o modelo continua a funcionar bem para a maioria das amostras, mas um pequeno número é comprometido, dificultando a detecção devido ao impacto visível limitado no algoritmo.
Combater o envenenamento de Dados é uma tarefa difícil. A correção de um modelo requer uma análise detalhada das entradas de treinamento do modelo, além da capacidade de detectar e remover entradas fraudulentas. Se o conjunto de dados for muito grande, tal análise será impossível. A única solução é treinar novamente o modelo completamente. Mas isso não é simples ou barato.
Problemas sistêmicos que afetam a Inteligência Artificial/Machine Learning
A implementação inadequada da IA pode resultar em consequências adversas, mesmo na ausência de intenções maliciosas. Um exemplo ilustrativo é o rumo que pode surgir em sistemas de previsão de texto. Esses Dados foram corrigidos após identificação, mas a origem do problema destaca a sensibilidade da IA aos Dados de treinamento. Além disso, o crowdsourcing de conjuntos de Dados, como no caso do ImageNet, pode introduzir inadvertidamente preconceitos, exigindo transparência na origem dos Dados para mitigar problemas sistêmicos.
Modelos treinados em conjuntos de Dados antigos podem perpetuar vieses, resultando em recomendações discriminatórias. A falta de transparência na operação desses modelos levou a situações em que juízes confiaram nas recomendações da IA resultando em sentenças desproporcionadas e, em alguns casos, racistas. Esse fenômeno destaca a importância da compreensão do funcionamento dos modelos de IA e da divulgação transparente dos Dados utilizados.
Com a interseção entre a Inteligência Artificial e a cibersegurança, virou fato a evolução abrangente das defesas digitais. Contudo, as implicações diretas desse avanço são marcadas por desafios, desde Dados de treinamento suscetíveis a envenenamento por políticas inadequadas, destacando a necessidade de cautela na implementação dessa tecnologia na segurança digital.
Dessa maneira vimos como ocorre o preconceito não intencional e o envenenamento de Dados e quão grave pode ser o impacto humano quando esses problemas não são controlados.
Fonte: Inforchannel