Абавазрение 25.03.2013

Некоторые интересные ссылки:

1. Еще одна коллекция Мобильных веб-фреймворков

2. Коллекция шаблонов для HTML5 сайтов

3. Расширения для Twitter bootstrap. Очень интересные фреймворки для веб-дизайна получаются.

4. Простой сервис организации телеконференций. Пока бесплатно.

5. Примерный бюджет цифрового агентства.

6. На сайте inetique.ru отредактированы новости.

Хьюстон, у нас проблемы

Старая фотография - Центр Управления Космическими полетами в Хьюстоне. Вендоры на дежурстве :)

Кластеризация и сегментация

Хорошая вводная статья по принципам классификации и сегментации данных. Представляет интерес также приводимый список продуктов.

Arduino на практике

Практический пример (исходные тексты) использование Arduino для измерений температуры.

См. здесь другие материалы по Arduino

Spring 3

Практический материал от IBM DeveloperWorks - создание REST сервисов с помощью Spring 3

См. другие материалы по использованию Spring

Не одними координатами

Информация о сетевой близости (network proximity), которой оперируют проекты SpotEx может быть использована для определения траекторий движения мобильных пользователей. Вот статья, в которой приводится алгоритм определения конвоев (то есть, совместно перемещающихся групп мобильных абонентов) по измерениям Wi-Fi proximity.

OpenStack на практике

Устройство и практическое применение Apache OpenStack.

Вот здесь еще можно посмотреть про эту облачную ОС

Hadoop Summit

Мы продолжаем публиковать ссылки для отслеживания интересных событий в Twitter. На этот раз - Hadoop Summit, Amsterdam 2013



/via Geo Messages

P.S. и то же самое в Twi-газете:   Hadoop Summit 2013

Redis and PostgreSQL на практике

Интересный блог Instagram Engineering. Много материалов по практическому применению PostgreSQL и Redis.

JS portal

JavaScript portal. Полезный сайт с массой материалов по JavaScript.

Это провал

Интересная статья - как по записям в социальной сети восстановить структуру организации.

JavaScript charts

Коллекция ссылок JavaScript библиотек для построения графиков. Понадобилось для одного проекта. И вот, что нашлось. Довольно богатый выбор:

Chart.js, D3, Google Charts, HighCharts, AmCharts, Raphael.

Ну и еще большая коллекция есть в обзоре ComputerWorld.

Python и Data Science

Что нужно знать, для использования Python при анализе данных. И где эти знания получить.

Лингвистический анализ в Twitter

Интересная статья по анализу слов, употребляющихся в Twitter. Интересны метрики, которые использовали авторы.

Вот анализ результатов, заключающий, что пользователи Twitter используют жаргон. При этом он имеет явные региональные различия.

$10 000 от Netflix

Конкурс от Netflix с призами по $10 000. Цель - модификация/расширение их Open Source продуктов

Оценка загрузки магазинов

На основе анализа check-in, фото с социальных сетях и т.д. определить возможную загрузку публичных мест прямо сейчас. Стоит туда идти или нет?

Можно найти параллели с сервисом Checkin, например. Но проблема, очевидно, в том, что собирать такую информацию из социальных сетей становится все сложнее. Подход к использованию API поменялся. И Твиттер тому первый пример.

Пошаговое руководство

Интересный подход к созданию пошаговых примеров (объяснений)

О бизнес моделях

Лизинг туристам смартфонов с предзагруженным контентом. Будет такое работать или нет? Или смотря где?

Потоки в Java

Систематизированное учебное изложение по теме Потоки в языке Java. Жизненный цикл потока, синхронизация и т.д.

INJOIT

Открыт новый рецензируемый Open Access журнал: International Journal of Open Information Technologies. Издатель: лаборатория ОИТ ВМК МГУ им. М.В. Ломоносова. Прием статей в первый номер журнала открыт.

Megastore и Spanner

Интересное сравнительное описание двух big data систем от Google: Megastore и Spanner. Если скорость записи не сильно критична, то можно получить поддержку distributed consistency.

Вот здесь есть еще про Spanner, а здесь - про Megastore.

Абавазрение 14.03.2013

Некоторые интересные ссылки:

1. Изучаем Python. Python программирование на примере обработки текстов

2. Арихтектура данных для использования Hadoop в задачах обработки в реальном времени. Идея - во введении по-шаговой обработки. Где-то я уже это читал :)

3. Иконки для веб-приложения как шрифт.

4. Использование Hadoop для обработки данных веб-лога. Практический пример.

5. NoSQL системы, как просто "попробовать", перед переходом к реальным параллельным базам данных.

6. Java Pi. Реализация Java на Raspberry Pi

Arduino GSM

Arduino платы теперь могут общаться по GSM

P.S. а вот здесь есть хороший магазин сенсоров для Arduino

Стартапы

Университетский курс по организации стартапов от Peter Thiel. Конспект лекций.

Мобильный портал

Обновлен мобильный портал

http://m.linkstore.ru

(это - мобильный сайт). В последней версии обновлен раздел Сервисы. Например, добавлен новый сервис Поиск собеседника. Кстати, раздел Сервис содержит ссылки на все наши мобильные мэшапы (если зайти из мобильного браузера).

Скопировать ссылку на свой телефон можно с помощью приведенного QR-кода. Можно также набрать короткий URL http://bit.ly/dc14q (экономия - 2 символа :)

P.S. a сделать свой мобильный веб-портал можно с помощью сервиса Мобильные страницы.

Теперь ты в армии

IRC в американской армии. Тактический чат.

Космические проблемы с 1С

Обломки китайского спутника поразили российский аппарат. Что характерно, китайский спутник назывался 1С. Знак судьбы ...

Cloud Messages

Технический материал - Google Cloud Messages с использованием Windows Azure. Кто бы мог подумать про Микрософт? И в целом интересный продукт Windows Azure Mobile Services.

AI алгоритмы

Книга в открытом доступе: Алгоритмы искусственного интеллекта на Prolog, Lisp, Java

100

Кто-то разоряется, кто-то приходит, но количество купонных сайтов продолжает расти. В поисковой системе по скидочным сайтам: поиск по купонам и скидкам уже 100 русскоязычных сайтов. Технически это сделано на базе Google CSE (custom search engine).

А здесь можно скопировать код поисковика по русским Группонам для добавления к своему сайту/блогу.

Безусловный фаворит поиска пока не меняется. Это - желтые ботинки.

Позиционирование в помещениях

Интересная технология - сенсорная система для самостоятельного позиционирования. Не требует внешней инфраструктуры (GPS, Wi-Fi). Но я так понимаю, что план помещения должен быть. Иначе от чего отсчитывать перемещение? Вот здесь еще есть их презентация:

Open Source и Big Data

Интересный обзор Open Source продуктов в области Big Data. Внутри: Storm, Kafka, Dremel, Drill, язык R, проблемно-оринтерированный язык для обработки графов Gremlin, платформа для работы с графами от Apache - Giraph, in-memory база данных от SAP - Hana и инструментарий для визуализации D3

Математика и жизнь

Интересная история об использовании исследования операций и теории вероятностей во Второй мировой войне.

P.S. Вот здесь еще можно посмотреть похожий материал.

Машинное обучение

Хорошая книга в свободном доступе - машинное обучения для статистиков.

Панорамные фотографии

Простой инструмент по созданию панорамных фото. Есть Flash и HTML5 версии.

Data Science. Литература

Несколько новых литературных ссылок:

1. Бесплатная e-book: Data Science with R

2. Бесплатно доступный первый номер журнала Big Data

3. Бесплатная книга Базы данных для графов. Авторы - создатели Neo4J

Без водителя

Интересная статья о том, как технически может выполняться оценка дорожной обстановки в автономных машинах

Абавазрение 05.03.2012

Некоторые интересные ссылки:

1. Примеры разработки мобильных веб-приложений, которые реагируют на наличие (отсутствие) сети. То есть, работа с HTML5 в offline.

2. uCheck - интересная идея для мобильного приложения. Предлагает снять тестер (лакмусовую бумажку) на камеру и анализирует изображение для диагностики.

3. На сайте inetique.ru - обновления и новости

4. Интересный глобальный конкурс инноваций от Deutsche Telekom

5. Публичные наборы данных. Важный момент для Data Science - на чем проверять алгоритмы. Вот здесь и собраны ссылки на наборы данных. Вместе с примерами испольхования машинного обучения для их анализа. Это так разработчик machine learning приложения свой продукт рекламирует.

6. Полезные примеры использования HTML5 Canvas

7. Remote control. Управление другими экранами из браузера. В этой связи см. также Web Pairing

Тряскометр

Интересная идея - акселерометр с памятью, который позволяет записать колебания. Выполнен в виде датчика, который покладывают к перемещаемому грузу. По сохраненным записям можно будет судить, как с грузом обращались во время перевозки.

С кем еще поговорить?

Углубленное развитие Internet of Things. Приложение, которое позволяет общаться с предметами, используя существующие для них номерные знаки.

В качестве более приземленной реализации можно упомянуть мобильные форумы для реальных объектов.

OPC сервер для баз данных

Интересная реализация OPC для ODBC. Шлюз, который позволяет представить базу данных в виде OPC сервера.

CERN для социальных данных

Интересная статья в NYT о том, как big data помогают в анализе поведения сообществ и отдельных людей. Вот презентация Alex Pentland о больших данных в социальных науках.

В связи с этим - одна интересная инициатива в MIT: MIT Center for Connection Science and Engineering. Планы у них громадные. На Workshop в MIT Media Lab обсуждали просто создание ни много ни мало CERN of sociotechnical science and engineering. Это один из проектов в рамках FET Flagships

Городские данные

Open Data Platform. Как выглядит городской портал открытых данных на примере Palo Alto.

Обучение програмированию

Сайт, посвященный обучению программированию. В первую очередь, школьников. Есть хороший список ресурсов.

Google+ sign-in

Это интересно: Google+ Sign-in. Удастся им подвинуть Facebook Login?

Facebook Data Scale

Пара интересных технических презентаций о внутреннем устройстве Facebook - Petabyte Scale Data at Facebook и Social Networking at Scale

Hadoop для Windows

Проект с участием Hortonworks - Hadoop для Windows. Впрочем, Микрософт верен себе. Еще только будет. В последнем квартале 2013 года.

О веб-дизайне

Учебные курсы по веб-разработке

P.S. ну а для тех, кто решил заняться этим самостоятельно - вот еще один инструмент для создания веб-интерфейсов

Портируемый SQL

Справочник по переносимым командам SQL. Справочник по SQL для кросс-платформенной разработки

Секреты визуализации

Интересная статья о секретах визуализации данных.

Навигация с использованием QR-кодов

В работе представлена система позиционирования и навигации в помещениях, основанная на использовании QR-кодов. Рассматривается специализированная система управления контентом (CMS), позволяющая создавать мобильные сервисы по навигации и позиционированию в помещениях - статья в журнале Прикладная Информатика.

А. Абдрахманова, Д. Намиот "Использование двумерных штрихкодов для создания системы позиционирования и навигации в помещении", Прикладная Информатика N 1(43), 2013, стр. 31-39

Strata Conference

Мы продолжаем публиковать ссылки для отслеживания интересных событий в Twitter. На этот раз - Strata Conference, Santa Clara 2013



/via Geo Messages

P.S. и то же самое в Twi-газете:   StrataConf 2013

Cassandra

Полезная статья IBM DeveloperWorks по основам Apache Cassandra

QR-коды в медицине

Проекты с использованием QR-кодов в медицинских приложениях.

/via QR-code FAQ

Mobile World Congress 2013

Мы продолжаем публиковать ссылки для отслеживания интересных событий в Twitter. На этот раз - Mobile World Congress, Barselona 2013



/via Geo Messages

P.S. и то же самое в Twi-газете:   MWC 2013

Anti-Hive

Решение для обработки данных из Hadoop в реальном времени - CitusDB. Технически - это адаптер для PostgeSQL. Это же может использоваться и как замена для Hive.

Еще о веб-аудио

Еще одна JavaScript библиотека и плагин к jQuery для работы с аудио в веб.

P.S. см. здесь другие решения для web audio

Очки

Что видно в Google Glass:

А согласно этому патенту Google, отображать информацию предполагается, в том числе, и на глазах других людей

Респонзинатор

Инструмент, который позволяет проверить, как выглядит веб-страница на разных устройствах. А проверяется в этом примере как раз одна из free responsive HTML5 templates

Data Mining в Google

Коллекция публикаций от сотрудников Google по тематике Data Mining

Институты больших данных

Пара интересных ссылок на академические инициативы:

1. Institute for Quantitative Social Science (IQSS). Это Гарвард. Кстати, один из их проектов - это система, на которой их собственный сайт построен - OpenScholar. Это основанная на Друпал полнофункциональная CMS для академических институтов. Open Source.

2. Data Science Center. Это Университет Нью-Йорка.

Социальный интегратор

Crowy - интегратор для социальных сетей. На одном экране - Twitter, Facebook, LinkedIn. И это Open Source продукт.

Допрос Яндекса

Инвесторы с пристрастием допрашивают Яндекс. Довольно подробно приходится руководству объясняться.

Коротко: наличных долларов у Яндекса скоро будет миллиард, покупать некого, деньги вернут акционерам, компания надеется на прибыль от Яндекс.Маркет

Apache BigTop

Про проект Apache BigTop. Упрощение развертывания Hadoop инфраструктуры.

Коллекция мэшапов

Новые поступления в коллекции мэшапов. Набор разных приложений: Twitter, Google+, Google Maps, Foursquare, Facebook, LBS, QR-коды, мобильные HTML5 приложения, поиск, рекомендательные системы и т.п. Возможно, что это самый большой набор веб-мэшапов в зоне .ru

Из последних поступлений, например, мобильный веб-мэшап Where Are You Now

Facebook Graph Search

Появились технические детали об устройстве Facebook Graph Search. Интересные моменты в использовании КС-грамматики

Где ты?

Переработан мешап WAYN (Where Are You Now).

Это мобильный веб-мэшап, который позволяет делиться информацией о местоположении в виде подписи к сообщениям. Нет идентификации, нет сторонних серверов, которые хранят всю информацию о пользователях. Прямая отправка данных тому, кому они предназначены. Система не имеет данных об отправителе и получателе, а также никаким образом не влияет на процесс передачи данных.

Некоторые иллюстрации:

1. Простая отправка автоматически определенного (или заданного вручную) местоположения:

2. Адресат видит уже две точки (свое местоположение и местоположение отправителя):

Подробнее можно прочесть на справочной странице сервиса.

P.S. а на случай, когда нужно отслеживать местоположение по нескольким абонентам одновременно, есть сервис Где они. Идея там такая же - обмен информацией о позиционировании на основе peer to peer модели. Разные другие формы реализации представлены на сайте Geo Messages

Медицинские приложения

Хакатон в Media Lab (MIT), посвященный медицинским приложениям. Интересные работы. Вот здесь еще есть хороший обзор мероприятия

О метеорите

Вот для чего нужны местные сайты. Все видео о метеорите на сайте Челябинска

Абавазрение 18.02.2013

Некоторые интересные ссылки:

1. Проверь себя. Вопросы для интервью на позицию data scientist

2. Структуры данных в NoSQL. И, соответственно, какие структуры где будут эффективнее работать.

3. Некоторые публикации по теме Human Dynamics. Использование данных мобильных телефонов для анализа поведения.

4. Ретвиты. Попытка предсказать их распределение от Яндекса. Но все сложнее. Вот интересная статья о помощи шума в распространении информации.

5. Определение контекста для мобильных абонентов. Интересная статья с шаблонами для акселерометра, динамика, etc.

6. Конференции в России

7. На сайте inetique.ru обновлен раздел Новости

M2M приложения

Проекты-финалисты M2M Challenge 2012. Сенсоры наступают.

IT блоги - что почитать?

Обновлен Интегратор IT блогов. Техническая реализация - используется widget от Google, который позволяет загружать RSS фиды со сторонних сайтов. Ну и представление данных вне основной страницы (механизм из сервиса Желтые страницы)

На странице используется также CSE (custom search engine) по IT-блогам.

P.S. другая популярная CSE присутствует на inetique.ru - поиск по скидкам и купонам - 90+ сайтов. Код для поиска можно использовать на собственных сайтах. Вот пример: поиск по скидкам.

Wired Smart Home

Статья в сборнике ICUMT - 2012.

M. Schneps-Schneppe, A. Maximenko, D. Namiot, and D. Malov. Wired smart home: Energy metering, security, and emergency issues. In Ultra Modern Telecommunications and Control Systems and Workshops (ICUMT), 2012 4th International Congress on, pages 405–410. IEEE Conference Publications, 2012

Инфографика и визуализация

Полезная коллекция инструментов для инфографики и визуализации

Asterix

Интересная платформа для анализа тегированных данных

Audio в веб

Интересная библиотека JavaScript для работы с аудио в веб приложениях

Big Data education

Интересная идея - обучение по big data на базе реальных проектов. В основе - Data Science ebook

Е-издатель

Habitat - издательская система для электронных книг

Зарядка для телефона

Интересная идея зарядки для телефона в виде подставки под чашку.

Термогенератор? Что-то вроде модулей Пельтье?

Программирование в онлайне

10 веб-ресурсов для непосредственной проверки вашего кода (или CSS разметки)

Научный Linux

Толковый перевод на IBM DeveloperWorks: Использование Linux в научных вычислениях. В частности, Sage и Python.

Шторм

Big data в реальном времени. Twitter Storm.

P.S. вот здесь еще можно посмотреть другие публикации

Местные новости

OpenBlock - система для местных новостей. Open Source.

А здесь можно посмотреть автоматический подбор местных новостей.

Big Data журнал

Big Data Journal. Редактор: Edd Dumbill, O'Reilly Media.

jQuery Mobile

Обработка событий в jQuery Mobile

P.S. см. здесь другие публикации по jQuery

Абавазрение 09.02.2013

Некоторые интересные ссылки:

1. Low energy Bluetooth devices. Это реальный тренд.

2. На сайте inetique.ru обновлены новости.

3. MoSQL - зеркало для MongoDB в PostgreSQL.

4. Интересный трюк для предотвращения cross-site scripting

5. Предсказание погоды по анализу GSM сигналов. Еще одно использование концепции "телефон как сенсор". Другой пример см., например, здесь

6. WebRTC: видео-чат Chrome - Facebook

7. А все уже пользуются хостингом от Google?

Google Maps Mania.ru - 63

Появились новые записи, и пришло время выпустить очередное обновление для списка русскоязычных проектов (систем), выполненных на базе Google Maps.

Как обычно, символом * отмечены новые поступления со времени публикации предыдущей версии списка. Историю вопроса можно изучить здесь.

Ну а последняя версия доступна на странице Google Maps Mania.RU

In-memory data

Память дешевеет. Соответственно, обработка данных в памяти становится реальностью. Или необходимостью, если нужно реальное время. In memory data grid в системе Cubrid.

Вот еще один обзор по in-memory системам, применительно к задачам реального времени в big data. Кстати, к in-memory systems можно отнести и Spark

Местные новости. Кызыл.

Обновлен мэшап Городские новости. Все местное: видео, фото, новости, рекомендации, твиттеряне. YouTube + Twitter + Yandex + Flickr + Foursquare.

В частности, добавлена страница для города Кызыл. Виртуальный тур, практически. Когда еще будете в Туве ...

Новости вокруг нас

Сервис по печати новостей на кассовых чеках. А что - это ведь еще один носитель. И рекламное место в перспективе. Сейчас в реальном времени подкачивают данные из Associated Press.

О потоках

Конец поиска в сегодняшней форме. Структура веба будет заменена (по крайней мере, в пользовательском представлении) потоками данных. Компания автора - Lifestream похожа на то, что делает Facebook со своим поиском по социальному графу.

Электронные библиотеки

Большой список бесплатных электронных библиотек

Введение в Data Science

Интересный курс от Колумбийского университета Intoroduction to Data Science. Подробные сопутствующие материалы. Курс построен как набор лекций представителей индустрии. Как, например, устроена рекомендательная система в Hunch и т.д.

Wi-Fi спрей

Wi-Fi антенна из балончика со спреем. 7 идей, которые перевернут мир.

Книги по программированию

Полезная коллекция бесплатно доступных книг по программированию

Предсказатель

"Прошлое не повторяется, оно рифмуется" - Марк Твен. Интересная работа Microsoft Research по предсказанию событий на основе веб-источников

Богу - богово

Машинное обучение - это хорошо, но человек - лучше. Twitter будет использовать человеческий мозг для идентификации топиков, которые становятся популярными в поиске.

Глобальный мэшап

Попытка построить единую точку доступа для мэшапов: 100+ API в одной библиотеке.

P.S. Все-таки, Yahoo Pipes был сильно недооцененным продуктом.

Мобильные сенсоры

Еще один пример использования концепции phone as a sensor - сбор информации об атмосферном давлении с помощью телефонов. Получается такая распределенная сеть метео-станций.

Абавазрение 01.02.2013

Некоторые интересные ссылки (в первую очередь - big data и связанные проекты):

1. BigML - как может выглядеть автоматизация анализа на основе machine learning. Ясная схема. Включает программные интерфейсы и даже инструменты работы с системами машинного обучения из командной строки.

2. Сколько может стоить термостат? 800 млн. долларов. Умные приборы - это тренд.

3. MIT Web programming competition. Финалисты.

4. Raspberry PI рассматривается как интеграционный элемент для M2M. Полноценный компьютер с полным набором инструментов разработки. Вот здесь еще можно посмотреть список применений для Raspberry PI

5. Интересное выступление Max Levchin на форуме DLD 2013, посвященное направлениям развития (применения) big data. Цифровизация окружающего мира: "So to conclude: I believe that in the next decades we will see huge number of inherently analog processes captured digitally. Opportunities to build businesses that process this data and improve lives will abound" - отсюда. А мы в AbavaNet давно про это знали.