AbavaNet technical corner: August 2023

PentestGPT - надстройка для ChatGPT, тесты проникновения
Deng, Gelei, et al. "PentestGPT: An LLM-empowered Automatic Penetration Testing Tool." arXiv preprint arXiv:2308.06782 (2023).

Beckerich, Mika, Laura Plein, and Sergio Coronado. "RatGPT: Turning online LLMs into Proxies for Malware Attacks." arXiv preprint arXiv:2308.09183 (2023).

Интересная презентация - Marcus Botacin. 2023. GPThreats-3: Is Automated Malware Generation a Threat? SlideShare.

Jennifer Fernick. 2023. On the malicious use of large language models like GPT-3. nccgroup.

A Survey on Large Language Model based Autonomous Agents. Агентам предстоит сыграть важную роль в автоматизации кибератак.

Malware researchers analyzed the application of Large Language Models (LLM) to malware automation investigating future abuse in autonomous threats. Executive Summar

Aaron Mulgrew. 2023. I built a Zero Day virus with undetectable exfiltration using only ChatGPT prompts.

Fábio Perez and Ian Ribeiro. 2022. Ignore Previous Prompt: Attack Techniques For Language Models. arxiv:2211.09527

OPWNAI: Cybercriminals Starting to Use ChatGPT. Check Point.

Sangfor Technologies. 2023. ChatGPT Malware: A New Threat in Cybersecurity.

Gradient Flow: Unleashing LLMs in Cybersecurity: A Playbook for All Industries

Awesome Large Language Model Tools for Cybersecurity Research

New LLM-based SOC tool to help automate security response

Hazell, Julian. "Large language models can be used to effectively scale spear phishing campaigns." arXiv preprint arXiv:2305.06972 (2023).

См. также другие публикации, посвященные LLM

Sunday, August 27, 2023

Векторные базы данных

И новая область применения для векторных баз данных - хранить эмбеддинги в машинном обучении

Парадоксы статистики

Интересно о статистике:

Accuracy Paradox

False Positive Paradox

Gambler’s Fallacy

Simpson’s Paradox

Berkson’s Paradox

Saturday, August 26, 2023

AI Red Team

Этичные хакеры, которые атакуют системы ИИ. Это стало особенно актуально для больших языковых моделей. Как это устроено в компаниях:

Google

Микрософт

Open AI

См. также другие публикации, посвященные LLM

Friday, August 25, 2023

Distributional evasion attacks (атаки уклонения распределения): при атаках уклонения распределения атакующий смещает все распределение тестовых данных на некоторое ограниченное расстояние с целью максимизации ожидаемых потерь. Эта модель угроз может быть использована для характеристики способности ML-моделей к обобщению вне распределения. Сертификация по этой модели угроз представляет собой верхнюю границу ожидаемых потерь.

Global evasion attacks (глобальная атака уклонения): можем менять любые входные данные (локальная атака уклонения меняет данные только внутри существующего распределения). Глобальная атака уклонения относится к робастности во всем диапазоне входных данных. Под робастностью по-прежнему понимается то, что малые изменения не меняют результат.

Отсюда: Li, Linyi, Tao Xie, and Bo Li. "Sok: Certified robustness for deep neural networks." 2023 IEEE Symposium on Security and Privacy (SP). IEEE, 2023.

Атаки и отравления

Awesome Data Poisoning and Backdoor Attacks - большой список публикаций с кодом Awesome Backdoor Attack and Defense - свежие работы по отравлению

Backdoor атаки

Backdoor защиты

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Thursday, August 24, 2023

О вероятности

Частота или Байес?

Атаки на приватные данные

В потоке запросов к MaaS определить атаку на приватные данные. Идея определения атаки - схожесть последовательных запросов. Схожая идея была реализована в нашей статье c J.Song, которая будет представлена на DCCN-2023

P.S. авторы, похоже, удалили исходный код из репозитория Responsible Data Science Lab