Страницы

Monday, August 28, 2023

ChatGPT в атаке

Некоторые ссылки, посвященные генерации или обработке вредоносного контента с помощью LLM. Собрано для новой магистратуры по Кибербезопасности

ChatGPT and Malware: Making Your Malicious Wishes Come True

WormGPT и FraudGPT

Пока не очень получается генерить вредоносное ПО, но фаззинг является перспективной идеей для LLM. Google обещает открыть детали

DarkBERT и DarkBARD - Google API и тренировка на всем даркнете.

PentestGPT - надстройка для ChatGPT, тесты проникновения
Deng, Gelei, et al. "PentestGPT: An LLM-empowered Automatic Penetration Testing Tool." arXiv preprint arXiv:2308.06782 (2023).

Beckerich, Mika, Laura Plein, and Sergio Coronado. "RatGPT: Turning online LLMs into Proxies for Malware Attacks." arXiv preprint arXiv:2308.09183 (2023).

Интересная презентация - Marcus Botacin. 2023. GPThreats-3: Is Automated Malware Generation a Threat? SlideShare.

Jennifer Fernick. 2023. On the malicious use of large language models like GPT-3. nccgroup.

A Survey on Large Language Model based Autonomous Agents. Агентам предстоит сыграть важную роль в автоматизации кибератак.

Malware researchers analyzed the application of Large Language Models (LLM) to malware automation investigating future abuse in autonomous threats. Executive Summar

Aaron Mulgrew. 2023. I built a Zero Day virus with undetectable exfiltration using only ChatGPT prompts.

Fábio Perez and Ian Ribeiro. 2022. Ignore Previous Prompt: Attack Techniques For Language Models. arxiv:2211.09527

OPWNAI: Cybercriminals Starting to Use ChatGPT. Check Point.

Sangfor Technologies. 2023. ChatGPT Malware: A New Threat in Cybersecurity.

Gradient Flow: Unleashing LLMs in Cybersecurity: A Playbook for All Industries

Awesome Large Language Model Tools for Cybersecurity Research

New LLM-based SOC tool to help automate security response

Hazell, Julian. "Large language models can be used to effectively scale spear phishing campaigns." arXiv preprint arXiv:2305.06972 (2023).

См. также другие публикации, посвященные LLM

Sunday, August 27, 2023

Векторные базы данных

И новая область применения для векторных баз данных - хранить эмбеддинги в машинном обучении

Парадоксы статистики

Интересно о статистике:

Accuracy Paradox

False Positive Paradox

Gambler’s Fallacy

Simpson’s Paradox

Berkson’s Paradox

Saturday, August 26, 2023

AI Red Team

Этичные хакеры, которые атакуют системы ИИ. Это стало особенно актуально для больших языковых моделей. Как это устроено в компаниях:

Google

Микрософт

Open AI

См. также другие публикации, посвященные LLM

Friday, August 25, 2023

О робастности

Distributional evasion attacks (атаки уклонения распределения): при атаках уклонения распределения атакующий смещает все распределение тестовых данных на некоторое ограниченное расстояние с целью максимизации ожидаемых потерь. Эта модель угроз может быть использована для характеристики способности ML-моделей к обобщению вне распределения. Сертификация по этой модели угроз представляет собой верхнюю границу ожидаемых потерь.

Global evasion attacks (глобальная атака уклонения): можем менять любые входные данные (локальная атака уклонения меняет данные только внутри существующего распределения). Глобальная атака уклонения относится к робастности во всем диапазоне входных данных. Под робастностью по-прежнему понимается то, что малые изменения не меняют результат.

Отсюда: Li, Linyi, Tao Xie, and Bo Li. "Sok: Certified robustness for deep neural networks." 2023 IEEE Symposium on Security and Privacy (SP). IEEE, 2023.

Атаки и отравления

Awesome Data Poisoning and Backdoor Attacks - большой список публикаций с кодом Awesome Backdoor Attack and Defense - свежие работы по отравлению

Backdoor атаки

Backdoor защиты

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Атаки на приватные данные

В потоке запросов к MaaS определить атаку на приватные данные. Идея определения атаки - схожесть последовательных запросов. Схожая идея была реализована в нашей статье c J.Song, которая будет представлена на DCCN-2023

P.S. авторы, похоже, удалили исходный код из репозитория Responsible Data Science Lab

Wednesday, August 23, 2023

Кругом враги

Byzantine Machine Learning - распределенное машинное обучение, когда присутствуют узлы с поврежденными (отравленными) данными и противоборствующим поведением

LLM - проблемы и направления исследований

Интересный обзор - что делать с LLM

См. также другие публикации, посвященные LLM

Tuesday, August 22, 2023

Искусственные контрфактические примеры

Как оценить эффект изменений, если A/B тесты провести прямо нельзя - ACE - Artificial Counterfactual Estimation

Monday, August 21, 2023

Causal Inference

О вечном вопросе Почему?

см. также другие публикации, посвященные каузальности

Социальный симулятор

Интересный продукт - по mindmap может построить эмулятор событий

Sunday, August 20, 2023

Что же важно для модели?

Использование SHAP для анализа важности фичей. Интересная задача - сравнить SHAP и feature importance

См. также другие публикации, посвященные SHAP

Все про MLOps

Awesome MLOps - коллекция ссылок

См. также другие публикации по теме MLOps

Sunday, August 13, 2023

Устройство ChatGPT

Хорошее объяснение работы LLM

См. также другие публикации, посвященные LLM

3D geometry generation

Новое направление для ML - 2D и 3D geometry generation. Основной назначение сейчас - лекарства

Tuesday, August 08, 2023

LLM и кибербезопасность

Использование ChatGPT в кибератаках и защитах

См. также другие публикации, посвященные LLM

Открытая наука: INJOIT том 11, номер 7

Очередной номер журнала INJOIT появился на сайте Киберленинка.

Это том 11, номер 7 за 2023 год.

/via Лаборатория ОИТ

Tuesday, August 01, 2023

BASE

Поиск по научным публикациям - BASE

5G IoT

Архитектура системы IoT на основе 5G и блокчейн

См. также другие публикации, посвященные блокчейн