Что могут и не могут LLM

Рассуждения о внутреннем техническом устройстве больших языковых моделей

Риски LLM. Или в более общей форме - контента, генерируемого AI

Поиск аномалий в табличных данных с помощью LLM

См. также другие публикации, посвященные LLM

LLM в критических операциях

Военные применения больших языковых моделей. А значит и здесь встанет вопрос об устойчивости и гарантиях работы модели.

См. также другие публикации, посвященные LLM

Поговорил с LLM

Q: Model inversion attack on ml model. How to prevent it?

A: A model inversion attack is a type of security threat that involves using machine learning models to extract sensitive information from their inputs or outputs. To prevent such attacks, there are several techniques and best practices that can be implemented:

Regularization: This technique helps reduce overfitting by adding regularization terms during training, which limits the capacity of the model to memorize specific patterns in the data. As a result, the model will generalize better and be less prone to model inversion attacks.

Data masking/obfuscation: One way to prevent leakage of sensitive information through the ML model’s output is to pre-process the input or obfuscate the output data to make it difficult for an adversary to reverse engineer the original data. Techniques like noise injection, image blurring, feature deletion, and permutation can help protect against potential attacks.

Access control: Limiting access to the ML model and its outputs can significantly reduce the risk of exposure of sensitive information. Implement strict authentication and authorization controls around access to trained ML models as well as any APIs or interfaces used to interact with them.

Detection mechanisms: Develop mechanisms to detect, alert and block malicious activities related to inversion attacks. Monitor usage logs and apply statistical analysis, anomaly detection algorithms, or other methods to identify suspicious behavior, IP addresses, and user agents associated with inversion attempts.

Q: Adversarial attack on ML model. How to use topology for protection?

A: Topology refers to the structure, arrangement, or organization of elements in a system. In the context of Machine Learning (ML) models, topology can refer to the architecture of the neural network or the relationships between different components within the model. Here are some ways you could leverage topology for the purpose of defending against adversarial attacks:

Architecture design: The choice of the ML model architecture and the number of layers, neurons per layer, and activation functions has a significant impact on model robustness. By selecting architectures that have demonstrated strong robustness against adversarial attacks, you may achieve greater defense capabilities. For example, ResNet and EfficientNet families of convolutional networks have shown good performance under various types of adversarial attack.

Diversity: Introduce diversity into the model, either by having multiple models, each trained on slightly different subsets of the dataset, or varying parameters such as weight initializations, batch normalization scale/shift settings, dropout rates etc. An attacker would need to craft inputs effective for all versions, so this increases attack effort, reduces effectiveness of mass-produced attacks, and allows time for human intervention. Ensemble methods combining predictions across diverse models also tend to produce higher quality results than single models.

Интересно ! :) Отвечал - HuggingChat

По шаблону

Интересная работа - шаблоны проектирования про разработке моделей машинного обучения

Кладезь знаний

Датасет с контентом веб-сайтов (15 млн.), на котором обучался ChatGPT. Учитель для LLM

Deep Learning

Симпатичный курс по глубинному обучению (со всеми материалами) из университета Женевы и компактный учебник от автора

Атаки инверсии модели

Model Inversion attack - получение приватной информации из тренировочного набора:

Как атаковать

Как защищаться

См. также другие публикации по теме adversarial, посвященные устойчивому машинному обучению

Интернет всего

Да еще и социальный: Second International Workshop on Social Internet of Anything – 2023

Темы:

Social network analysis applied to communication networks (Online/Offline SN, Internet of Vehicles, Internet of Things, etc.)
Security, privacy and trust issues in Social Internet of Anythings
Connectivity management ruled by social features
Machine learning for Big Data analytics in social Internet of Anythings
Integration of social aspects in traditional ad-hoc networks
Small-world theory applied to Social Internet of Anythings
Cross-layer design of communication networks and social networks
Epidemic social network analysis for pandemic contention
Social networking for contact tracing, location and tracking
Social Data and multimedia communication and privacy
Infrastructure, platform, protocol design, and optimization for mobile social networks, mobile social clouds, and social Internet-of-Things with Artificial Intelligence
Social-aware network solutions and social network influence on (wireless) communications systems
Architectures and Protocols for Blockchain-based social media platforms

Наши работы по сетевой пространственной близости очень хорошо вписываются в эту тематику.

K-means

Простое руководство по K-means кластеризации

Проверка, испытания и наладка электрооборудования

Электролаборатория ООО «БЬЮФОРТ» оказывает комплексные услуги по проверке, испытанию и наладке электрооборудования электроустановок до 10кВ. Электроизмерительная лаборатория имеет необходимый комплект высокоточных современных электроизмерительных и испытательных приборов. Работа электротехнической лаборатории регламентируется методическими рекомендациями, согласованными со специалистами Ростехнадзора по Москве, действующим законодательством и ПУЭ.

Электролаборатория ООО «БЬЮФОРТ»

Ассоциативные правила

Учебный материал с исходными кодами - построение ассоциативных правил по датасету

Встроенные финансы

Финансовые продукты (услуги) теперь становятся частью других продуктов

Устойчивость транспортной сети

Интересная работа по оценке устойчивости транспортной сети

Цифровые двойники дорог

Очень практическая статья по цифровым двойникам дорог

см. также другие публикации по теме двойники

Не нужно много данных

Andrew NG о Data Centric AI

Повсеместная безопасность

Повсеместные вычисления (вездесущие вычисления, юбикомп, от англ. ubiquitous computing) — понятие, обозначающее модель взаимодействия человека с вычислительной системой, в которой пользователь окружён вычислительными устройствами, пронизывающими окружающую среду, интегрированными в повседневные вещи. В отличие от виртуальной реальности, где в компьютере отражается виртуальный мир, при повсеместных вычислениях компьютеры привносятся в реальный мир вокруг человека, этот мир состоит из множества цифровых мини-помощников (окружающий интеллект). Таким образом, под повсеместными вычислениями понимают компьютеры в мире человека, а не человеческий мир внутри компьютера.

Проблемы безопасности в повсеместных вычислениях: Ubiquitous Security

GMAI

Большая языковая модель для медицинского AI - Generalist Medical AI

Про аутентификацию

/via ByteByteGo

LLM в медицине

Рельность использования ChatGPT в медицинской диагностике. Спойлер - 50% вероятность правильного диагноза. Можно и монетку было бросить ...

Кто же автор?

К вопросу определения текстов, написанных LLM

Городские данные

Фреймворк для анализа городских данных

О формализме

Немного старая, но интересная коллекция работ, посвященная формальным методам проверки в машинном обучении

Кибербезопасность киберфизических систем

Хорошее практическое применение стандартов NIST в описании проблем кибербезопасности CPS на примере железной дороги.

Wi-Fi CSI

Интересная работа по подсчету количества пассажиров в транспорте на основе анализа Wi-Fi CSI: Jiang, Hongbo, et al. "Pa-Count: Passenger Counting in Vehicles Using Wi-Fi Signals." IEEE Transactions on Mobile Computing (2023).

VK NFT

NFT-проекты хакатона VK

Что знают LLM

Интересная статья о представлении знаний в LLM

Все едино

Просто о Single Sign-On (SSO): SAML, OAuth2, OIDC

AI report 2023

Очередной отчет по ИИ от Стенфордского университета

Интересное замечание: "Хотя проверка фактов с помощью систем естественного языка стали популярными в последние годы, языковые модели обычно обучаются на статических снимках данных без постоянных обновлений с течением времени, и им не хватает контекста реального мира, который люди, проверяющие факты, могут легко получить и использовать для проверки достоверности утверждений. Исследователи Технического университета Дармштадта и IBM проанализировали существующие наборы данных для проверки фактов выявлены недостатки систем проверки фактов, построенных на основе этих наборов данных. Например, автоматизированные системы проверки фактов часто предполагают наличие противоречивых контрдоказательств для новых ложных утверждений, но для проверки новых утверждений, как истинных так и ложных, часто нет доказательства наличия или отсутствия противоречия."

Иными словами, факт отвергается, если в датасете есть противоречивое утверждение. А если такого нет? Пример из отчета - утверждение "Чтобы создать вакцину от COVID-19, можно убить миллион акул". Это не будет опровергнуто, посокльку нет обратного утверждения. Тогда как человек модет проверить информацию о вакцине.

Городское IT

Хакатон: IT, информационные технологии для транспортной отрасли. Разработка программных продуктов, повышающих разумность и комфортность городской среды

Запросы на графах

Большой обзорный материал по ответам на запросы (Complex logical query answering) на графах

Фальшивые звуки

Отравление данных и бэкдоры для аудио-систем