2015

2015 = 1024 + 512 + 256 + 128 + 64 + 16 + 8 + 4 + 2 + 1 #GeekyNewYear

Иллюстрированный консенсус

Хорошее иллюстрированное объяснение принципов работы согласования в Paxos

P.S. этот сайт вообще посвящен визуализации алгоритмов. Вот, например, определение движущихся групп.

Распределенные системы

Что нужно знать инженеру о распределенных системах

P.S. и сравнить это с текущими программами по Computer Science в отечественных вузах ...

Курсы CS

Впечатляющий список доступных в сети курсов по Computer Science

/via Поиск онлайн-курсов

Беседы в Twitter

Типы взаимодействия в Twitter.

Парковки 2.0

Просроченные и неоплаченные парковки определяют с помощью Google Glass. Достаточно посмотреть на номер ...

Будет такое и в Москве?

Городские теги

Теги BLE на уровне города. Применение тегов для Smart Cities.

Байес и частота

Frequentism and Bayesianism - два подхода к оценке вероятности. Еще одно интересное сравнение можно почитать здесь. Речь в этой статье идет об интересной Байесовской модели, построенной для поисков пропавшего самолета.

P.S. и дискуссия по этому поводу на YC

Йуля

Примеры программирования на языке Julia. Соперник R и Python в области анализа данных.

Bloom filter

Bloom filter. Как устроен механизм кэширования.

P.S. вот еще нашлась интересная дискуссия по этой статье на YC

О Data Science

Хорошая подборка Data Science ресурсов.

Большие аномалии

Интересная статья о кластеризации в больших наборах данных. Unsupervised feature clustering.

Mozilla Research

Интересный список исследовательских проектов от Mozilla Research. Язык RUST, в частности.

О мобильных браузерах

Интересная статья об устройстве мобильных браузеров. По сути - возврат к идеям WAP. Все запросы проходят через некоторый proxy, который обеспечивает переиспользование данных.

BLE в ритейле

Использование Bluetooth beacons в торговых залах.

/via BDP

ML фреймворки

Обновляемый список machine learning frameworks. С разбивкой по языкам программирования.

Визуализация данных

Книга по визуализации данных в веб

Data Mining чтиво

Хорошая подборка блогов о data mining. С разбивкой по темам.

GIF maker

Симпатичная идея - получение анимированных gif-файлов из роликов на YouTube

Антикризисные шаблоны

Бесплатные шаблоны для посадочных страниц - free landing pages templates.

Маленькие сети

Mesh-сети - локальные агломерации устройств и сервисов. Коллекция ссылок:

Инициатива Red Hook
Описание Red Hook
Приложения Red Hook
Модели применения Red Hook

Commotion - сеть на базе Wi-Fi Access Points

Guifi.net

Wireless Networking in the Developing World - книга

Дискуссия по mesh-сетям на YC

Многозадачность

Мобильный портал

Обновлен мобильный портал

http://m.linkstore.ru

(это - мобильный сайт). В последней версии обновлен раздел Сервисы. Например, добавлен новый сервис Поиск собеседника. Кстати, раздел Сервис содержит ссылки на все наши мобильные мэшапы (если зайти из мобильного браузера). Также начато приведение в соответствие с реальностью информационных разделов.

Скопировать ссылку на свой телефон можно с помощью приведенного QR-кода. Можно также набрать короткий URL http://bit.ly/dc14q (экономия - 2 символа :)

P.S. a сделать свой мобильный веб-портал можно с помощью сервиса Мобильные страницы.

Рекомендации

Подробный анализ технического устройства рекомендательных сервисов в Spotify. Используют deep learning для сравнения музыкальных фрагментов.

Как выжить в кризис?

Хорошо организованная подборка: как улучшить свои знания по машинному обучению.

Учиться - вполне разумное занятие для кризисного времени. Это реально так. Если не ML, то поищите другие курсы.

Жизненные индикаторы

В закладки на мобильном браузере: http://linkstore.ru/life.htm

Все проходит

Автор поменял свое мнение. E.Brewer о текущем состоянии дел с CAP-теоремой.

IoT от MIT

Интересный IoT Business Report от MIT

Облако высокой доступности

Архитектурные заметки IBM по проектированию систем с постоянной доступностью на основе облачных технологий

Советы по обработке данных

Data Scientist Handbook. Советы бывалых по обработке данных.

INJOIT - собираем статьи

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 1-й номер журнала на 2015 год (том 3). Здесь можно посмотреть архив журнала.

/via Лаборатория ОИТ

Гироскопическая подслушка

Гироскоп в смартфоне может быть использован для расшифровки разговора. Интересно :)

Вот еще нашлась дискуссия по этому поводу на YC

Тренды в Big Data

5 трендов в big data в 2014 году. Поддержка Hadoop становится обязательной для всех баз данных, основное внимание смещается на аналитику (обработку данных).

Предзагрузка контента в браузере

rel="prefetch" - интересная опция. Пока только в Chrome.

INJOIT vol. 2, no. 12

Вышел новый номер журнала INJOIT. Это последний номер в 2014 году.

Темы статей: архитектура предметно-ориентированной базы знаний интеллектуальной системы, оптимизация онлайн контента учебного курса с использованием автоматического куратора в скользящем режиме, информационная поддержка задач компьютерного моделирования высокоскоростного взаимодействия твердых тел, интеллектуальная система информационной поддержки развития перспективных бионических технологий: основные направления работ по созданию, a study on preprocessing techniques for the character recognition

Архив журнала находится здесь.

/via Лаборатория ОИТ

Домострой и автоматизация

Хорошая коллекция ссылок на продукты с открытым кодом для построения умного дома. Есть российские продукты из этой области?

Фильтр Калмана

Хорошо написанное объяснение принципов работы и моделей использования фильтра Калмана.

О микросервисах

Интересная статья Martin Fowler: Microservices and the First Law of Distributed Objects. Шаблон микросервисов вызывает большой интерес, особенно в связи с IoT и M2M программированием.

Еще по этой теме можно почитать статью в INJOIT: Namiot, D., & Sneps-Sneppe, M. (2014). On Micro-services Architecture. International Journal of Open Information Technologies, 2(9), 24-27.

P.S. Вот еще нашлась интересная дискуссия на YC о микросервисах.

HMM

Неплохое введение в Hidden Markov Models

Open Signal

Коллективный сбор информации от сенсоров. Интересно, что OpenSignal начинался как проект по оценке качества связи. Мобильные пользователи должны были поставлять такую информацию. И это трансформировалось в полноценную сенсорную платформу.

M2M 5G

M2M взаимодействие и 5G. По версии Эрикссон. В этой связи интересны работы по MobilityFirst. Полностью мобильная инфраструктура для сети. Вот, например, коммерческая инициатива в этой области - MaidSafe

3D танго

Tango - визуализатор пространства от Google. Специализированный акселерометр, который позволяет создавать трехмерные карты окружающего пространства.

Курсы Carnegie-Mellon

Сайт с учебными курсами университета Carnegie-Mellon

/via Поиск учебных курсов

Шаблоны панелей

Шаблоны для панелей мониторинга на базе Bootstrap

Запад и Восток в дизайне

Очень интересный материал - сравнительный анализ дизайна мобильных приложений на Западе и на Востоке. Автор, в первую очередь, анализирует дизайн китайских приложений.

25 000 евро

25 000 евро (страшно сказать - сколько это теперь в рублях) и другие призы в различных студенческих конкурсах. Детали - на сайте Лаборатории Открытых Информационных Технологий.

Что не так со статьями про QR-коды

Еще одна большая статья про то, что что-то не так с QR-кодами. Странно, но кажется что-то не так с авторами таких статей. QR-код есть абсолютно простая и абсолютно техническая вещь. Которая решает одну и только одну задачу - упрощает ввод информации для мобильного устройства. И все. Что здесь может быть "не так"? Кто хочет - пользуется, кто хочет - вводит данные вручную. Все остальные вопросы - они уже к самим данным. Не открывается URL, который был закодирован в коде? Плохо, но при чем здесь код? Такой URL не откроется и если его прямо набрать в браузере, и даже если нажать ссылку в SMS. И так далее. Попытки придумать какую-то злонамеренность (или наоборот :) для абсолютно технического трюка.

/via QR-code How to

INJOIT - call for papers

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 12-й номер журнала на 2014 год (том 2). Здесь можно посмотреть архив журнала.

/via Лаборатория ОИТ

Big Data Use Cases

Big Data Use Cases from Dell

Анализ трафика

Обзор инструментов для анализа беспроводного трафика.

Google-собиратель

Интересная идея от Google - пользователь может установить оплату в пользу сайта ($1-$3 в месяц), а Google таким посетителям на сайте не будет показывать свою рекламу. Google Contributor - еще один механизм финансирования сайтов.

Инфраструктура для iBeacon

Полная инфраструктурная система для iBeacons. CMS в таких проектах действительно нужна.

/via Bluetooth Data Points - теги на базе телефонов.

Тайный сервер

Стандарт на представление скрытых серверов - TCP Stealth. Ближайшая аналогия - точка доступа Wi-Fi без публичного анонсирования. Только ограниченный круг клиентов (знающих о ее существовании) может взаимодействовать с ней.

INJOIT vol. 2, no. 11

Вышел новый номер журнала INJOIT.

Темы статей: трехмерные и двумерные изображения: модели, алгоритмы и области анализа, “Многомерное метро” и символьные матрицы, о переходе к IP коммуникациям и задачах российских связистов, вопросы разработки математической модели информационной войны, micro-service Architecture for Emerging Telecom Applications

Архив журнала находится здесь.

/via Лаборатория ОИТ

Большие события

Пара интересный статей по publish-subscribe модели для больших данных: модели использования Kafka и обработка событий с помощью связки Kafka - Flume

См. также другие статьи по Kafka

Местный свет

Как замена iBeacons - умные лампы от Philips. Мерцание должно распознаваться камерой мобильного телефона. И по тому, какая это лампа - можно определеть местоположение в здании. Для телефона в кармане не работает по очевидным причинам. В целом - непонятно. Хотя конечная цель очевидна - избавиться от необходимости подготовки инфраструктуры (инсталляции тегов).

Источник случайности

Интересная идея - тег, который вырабатывает случайные данные. Аппаратный источник неопределенности.

Big Data Open Source

Подробное описание инфраструктуры StumbleUpon, построенной на Open Source Big Data продуктах (e.g. Kafka)

Скрипт как сервис

CGI-скрипт как сервис. Можно написать свой скрипт (PHP, Ruby) и получить URL для обращения к нему.

Архитектура веб-почты

Yahoo переводит свою почтовую систему (реализацию веб-доступа) на node.js

Yahoo Mail moving to React from Subramanyan Murali

In Proximity

Пара гео-сервисов, которые ориентированы на работу с пользователями в непосредственной близости к источнику (автору, владельцу) данных:

Closely

HelloWorld

Кажется, что будущее гео-позиционных сервисов именно в таком микро (в смысле расстояния) шаринге.

О размере данных

Согласно данным опросов инженеров, работающих с большими данными, размер - не имеет значения. Вариативность - вот где основная проблема. И это очень верно - нормализация и очистка данных стали занимать очень много времени.

Еще о местных данных

Floating content - модель распространения местных данных.

/via Bluetooth Data Points

Анализ походки

Интересная статья по определению походки (сравнению походок) человека по данным сенсорных измерений. Акселерометр на телефоне - как раз подходящее устройство.

Реклама в поисковой выдаче

Вероятностные модели размещения рекламы в поисковой выдаче. Видео-лекции и слайды презентации.

Мониторинг телефонов

Здесь в статье описывается, скорее, анти-мониторинг. Как распознать на Android-телефоне тот факт, что он присоединился к фальшивой базовой станции.

Хотя более интересно в этой схеме было бы как раз слежение за телефонами. Отслеживать перемещение (присутствие) телефона по "подобию" базовой станции было бы интересным способом пассивного мониторинга. Такая "станция" должна только регистрировать попытку соединения телефона, записывать этот факт и отказывать в соединении, направляя, тем самым, телефон уже к реальной базовой станции.

YC hacks

Интересные продукты из презентаций для YC конференции:

Анализ крови

Синхронизация данных через браузер

Расстановка мебели из ИКЕЯ

Повторитель для операций

Google патенты

Очень интересный свежий список патентов Google.

Мониторинг событий

Весьма удобно использовать twitter для "виртуального" присутствия на компьютерных конференциях. Обычно, участники (и организаторы) весьма подробно комментируют происходящее. Вот, например, на странице Coldbeans ведется обновляемый список событий.

Книги по ML

Еще одна подборка книг по машинному обучению:

Mining the Social Web

Understanding Machine Learning: From Theory to Algorithms

Bayesian Reasoning and Machine Learning

Machine Learning: a Probabilistic Perspective

Computer Vision: Models, Learning, and Inference

Data Mining and Analysis: Fundamental Concepts and Algorithms

The Elements of Statistical Learning

An Introduction to Statistical Learning

Reinforcement Learning: An Introduction

Regret Analysis of Stochastic and Nonstochastic Multi-armed Bandit Problems

Algorithms for Reinforcement Learning

/via Coldbeans.

Глубокие рекомендации

Deep Learning в рекомендательном сервисе Spotify.

См. здесь другие материалы по deep learning.

Темные места машинного обучения

Интересная заметка о забытых (пропущенных) областях машинного обучения. Замечание о временных рядах - очень верное.

Авто-API

Google опубликовал первую версию Auto API для Android. Пока - управление аудио устройствами и сообщения. Но понятно, что это только начало.

Кстати, вот здесь есть презентация Cars as Tags. Посвящена использованию Bluetooth Data Points для взаимодействия с автомобилями (пассажирами).

NFV

ETSI довольно значительно продвинулось по пути стандартизации NFV (Network Functions Virtualisation). Вот последние версии документов на портале ETSI.

Еще у них есть хорошие White Papers по NFV: часть 1, часть 2, часть 3.

Twitter Index

Твиттер теперь индексирует все сообщения. Вот здесь описана архитектура этого процесса. Из инструментов: Mesos для управления кластерами и надстройка над Lucene для information retrieval

Модели применения для BDP

К вопросу о моделях применения для Bluetooth Data Points. Пара интересных ссылок:

Personal merketplace. С помощью BDP можно распространять информацию среди находящихся рядом мобильных абонентов. Читай - продавать локально. Кстати, у этого магазина по ссылке - открытый код.

А другая система - это Path Talk. Прямое общение с местным (локальным) бизнесом. Идея о том, как это может выглядеть была реализована еще в Wi-Fi Chat.

О местных данных

Намиот Д. Доступ к локальным данным на основе информации о сетевой близости //Сборник избранных трудов IX Международной научно-практической конференции "Современные информационные технологии и ИТ-образование". — ИНТУИТ.РУ Москва, 2014. — С. 306–311.

В статье рассматриваются вопросы разработки мобильных сервисов с использованием беспроводных тегов. В работе рассматривается новая модель использования (применения) Core Bluetooth устройств. В этой модели Bluetooth устройства служат для определения контекстно-зависимых данных, доступных мобильным пользователям. Основным достижением этой модели является то, что она охватывает все этапы жизненного цикла мобильных сервисов – представление тега (тегов), привязку к ним информационного наполнения и создание прикладных приложений на основе имеющихся тегов. В качестве тегов могут выступать как мобильные телефоны, так и уже существующие устройства с поддержкой Bluetooth. Возможные области применения: приложения для торговых и сервисных организаций, навигация в помещениях, контекстно-зависимые приложения для Smart Cities.

Slush 2014

Мы продолжаем публиковать ссылки на интересные события, отражаемые в Twitter. Сегодня это Slush Conference, Helsinki 2014

Slush 2014

/via Bluetooth Data Points

P.S. много событий публикуется в блоге Coldbeans

Еще о Spark

Еще одно введение в Spark

P.S. См. здесь другие материалы по Spark.

Введение в YARN

Управление Hadoop кластером - YARN

Мобильный интернет

Магический квадрант. Чем заниматься, во что инвестировать:

Учебные приложения (и книги) выглядят привлекательно.

Сетевая медицина

Как устроены облачные системы медицинской диагностики. Весьма подробный обзор.

Архитектура IM

Интересное исследование о масштабируемой архитектуре для Instant Messaging

Анализ графов

Интересный инструмент анализа графов (в основном - для данных их социальных сред) - Discussion Graph Tool. Авторство - Microsoft Research.

Распределенные потоки

Модели обработки потоков в распределенных базах данных.

P.S. Еще про обработку поток можно почитать в хорошей статье от LinkedIn - The Log: What every software engineer should know about real-time data's unifying abstraction

NoSQL 2.0

Что будет в новом поколении NoSQL систем? Переосмысление CAP теоремы, множественные модели данных, глобальные транзакции.

Звуки большого города

Обработка звука есть сильно недооцененный информационный канал для смартфонов. Вот интересный проект по использованию акустических датчиков в умных городах: EAR-IT

Корейский бекон

Samsung опубликовал собственное решение для proximity applications: Samsung Placedge Platform. Идея в том, чтобы владельцы тегов не должны будут распространять какое-либо приложение. Поддержкой определения тегов будет заниматься непосредственно телефон, а рассылкой push-уведомлений - платформа от Samsung.

Вот здесь еще есть о Placedge SDK.

Магистратура в Финляндии

Самая большая магистратура по IT в Финляндии. Весьма впечатляющая программа. И бесплатное обучение ...

Большие потоки

Архитектурные решения для поддержки больших потоков данных. Автор предлагает использовать Kafka.

В этой связи вот еще интересная ссылка:

Kafka + Apache Storm контейнер

Биоинформатика

Курсы по биоинформатике на русском языке.

/via Поиск учебных курсов

Конференция «Современные информационные технологии и ИТ-образование»

Опубликована программа IX Международной конференции «Современные информационные технологии и ИТ-образование». Авторам отобранных докладов предлагаем подготовить расширенные версии для публикации в журнале INJOIT.

Бесплатная регистрация на конференцию - здесь.

Цепи Маркова

Цепи Маркова - визуальное представление. И написано еще весьма хорошим языком.

P.S. вот еще нашлась интересная дискуссия по этому материалу

Моменты истории

Из патента этой леди вырос беспроводной интернет:

/ отсюда

Ericsson IoT

Интересный IoT framework от Ericsson. Код открыт.

Практика Android

Пара хороших статей с разобранным примером создания Android приложения: часть 1, часть 2.

Продвижение и успех в Google Play

Руководство от Google - как обеспечить продвижение своего приложения в Google Play (бывш. Android Market).

Если кажется, что "много букв" в документе, то вот здесь есть неплохая выжимка.

Поиск для IoT

Поисковая система для IoT. Вот, например, метеостанции в Москве.

Рекомендации от LinkedIn

Интересная статья с описанием технического устройства (алгоритмы, программная архитектура) рекомендательных сервисов в LinkedIn

О распределенных системах

Формальные подходы к описанию процессов в распределенных системах. Как, например, описать репликации. Рассматриваются следующие языки (Miscrosoft Research): TLA+ и PlusCal

P.S. вот еще интересная дискуссия по этой теме.

Веб-компоненты

Пара полезных ресурсов с коллекциями веб-компонент:

Component Kitchen (оцените домен !)

Custom Elements

Применение Hadoop

Хорошая презентация (150+ слайдов) по использованию Hadoop:

Strata NY 2014 - Architectural considerations for Hadoop applications tutorial from hadooparchbook

Более полно это рассматривается к книге авторов, посвященной применению Hadoop

О дизайне мобильных приложений

Хороший перевод статьи о современных подходах к организации мобильных приложений. PUSH-уведомления - наше все.

P.S. вот здесь еще можно почитать о push-notifications в информационных системах.

Больше SDN

Еще одна реализация SDN с открытым кодом. За спиной этой лаборатории (и за всем проектом) AT&T.

Обработка веб-логов

Практическая статья - прогнозирование запросов на основе обработки веб-логов.

HTTP/2

Хорошая презентация от Google по HTTP 2.0

Drupal Camp 2014

28 и 29 ноября на базе факультета ВМК МГУ состоится конференция DrupalCamp MSK 2014 — самое ожидаемое и значимое событие для Drupal-сообщества России.

Конференция соберет большое количество разработчиков, веб-мастеров, дизайнеров, менеджеров проектов, владельцев бизнеса и работодателей в сфере диджитал.

Участников ждут доклады от известных российских и зарубежных друпалистов, представителей Майкрософт и Яндекса, тренинги в рамках Drupal Global Training Days, рассказы об интересных моментах амстердамской конференции и о том, чего ждать от Drupal в будущем, а также общение на темы развития Drupal в России.

Студентам и докладчикам вход свободный. Журнал INJOIT предложил докладчикам публикацию их работ.

Все подробности на сайте http://2014.drupalcampmsk.ru/

/via Лаборатория ОИТ

Тихоновские чтения 2014

Конференция Тихоновские чтения 2014: программа и тезисы докладов. О нашем докладе можно почитать здесь: Bluetooth и местные данные.

INJOIT - публикации в области ИТ

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 11-й номер журнала на 2014 год (том 2). Здесь можно посмотреть архив журнала.

/via OIT Lab

Bluetooth и батареи

Сканирование BLE устройств и разряд батареи. Android 5.0 довольно много добавит для удобства фонового сканирования BLE устройств.

О языках программирования

Потрясающая визуализация - граф языков программирования.

К ним

Среда на базе Eclipse для анализа данных - KNIME. Есть GPL лицензия.

Мониторинг беспроводных сетей

Мобильное приложение для мониторинга сотовой связи (а также Wi-Fi сетей). Найдено в интересной статье по мониторингу городского Wi-Fi.

Купоны и скидки

Кто-то разоряется, кто-то приходит, но количество купонных сайтов продолжает расти. При кризисе - снова станет актуально. В поисковой системе по скидочным сайтам: поиск по купонам и скидкам уже 110 русскоязычных сайтов. Технически это сделано на базе Google CSE (custom search engine).

А здесь можно скопировать код поисковика по русским купонникам для добавления к своему сайту/блогу.

Безусловный фаворит поиска изменился. Это - летающая фея. Что это такое? Видимо, у всех уже есть желтые ботинки.

Прелести дизайна

Вот на странице авторизации - выберите поле с паролем.

HipHop

HipHop Virtual Machine - JIT компилятор для PHP от Facebook. Хорошая возможность "на ровном месте" ускорить свои PHP приложения (сайты).

О предиктивной аналитике

Как может выглядеть прогнозная программа в облаке. Похоже, что конкретно здесь разработка продвигается не очень быстро (если вообще еще двигается), но идея о том, как это выглядит - хорошая. От пользователя требуется только загрузка файла с данными и указание переменных.

А так - это весьма конкурентная область. Вот, например, Google Prediction API. И у него уже довольно много конкурентов.

MS ML

Машинное обучение на Azure. Введение.

Вот здесь можно прочитать про условия использования.

Поиск учебных курсов

Обновлена база мета-поиска учебных курсов. Устроен аналогично довольно популярному поиску по купонам и скидкам:

Искать онлайн-курсы. 125+ сайтов.
 

Сразу же добавлено взаимодействие на сайте от Mozilla. Ищите, обсуждайте, учитесь.

Bluetooth и локальные данные

Еще об использовании Bluetooth Data Points. Презентация на конференции Тихоновские чтения 2014 - "Как использовать Bluetooth для представления локальных (местных) данных":

Здесь можно прочесть тезисы доклада.

Большие Данные в национальной экономике

Материалы конференции. Не досидел до конца - многие доклады не имели ничего общего с big data. Названия докладов банально не соответствовали содержанию.

Учебник по JavaScript

Интересный проект - книги свободно публикуются на GitHub. Деньги собираются на Kickstarter.

Але, гараж

Выложенные для публики эксперименты с программами и сервисами от Микрософт: The Microsoft Garage.

Красный рассвет

Перепечатка сообщения от DZ Systems:

Дамы и господа.

Имею честь сообщить вам, что группа компаний DZ Systems, Высшая Школа Экономики и Институт Системного программирования РАН планируют провести в Москве 11-го Декабря конференцию, посвящённую разработке операционных систем в Российской Федерации.

Цель конференции, на данный момент - выявить тех, кто работает в области создания или развития ОС, гипервизоров и другого системного ПО, познакомить их между собой и обменяться информацией об уже идущих проектах.

У нас уже есть докладчики из Росы, ИСП РАН, Ксис Лабз (очень интересный проект, кстати - персистентный гипервизор).

Если вы работаете в этом направлении, если вы знаете кого-то, кто работает - приходите. Зовите. Пишите.

Конечно, докладчикам из СНГ мы тоже будем рады.

Конкретно, место и время: Четверг 11 декабря, актовый зал ВШЭ по адресу Б. Трёхсвятительский пер., д. 3 (бывшее здание МИЭМ) с 10:00 до 18:00

Чуть позже мы дадим более подробную информацию, расписание и тезисы.

Если вы знаете блог, сообщество или сайт, на котором этот анонс было бы полезно разместить - пожалуйста, разместите, или сообщите нам.

P.S. Хорошее дело. Со своей стороны готовы предоставить страницы журнала INJOIT авторам докладов.

Стать Кассандрой

Курсы по Cassandra от Datastax

/via Поиск учебных курсов

Новый интернет

Интересный европейский проект по новому интернету для распределенных вычислений. Жизнь после TCP/IP :)

Чикаго

Чикаго выходит на первые позиции в деле сбора и обработки сенсорной информации о городе и жителях

Алгоритмы Data Science

Хорошая книга, где собраны математические основы Data Science

Twitter NLP

Интересный подход к анализу твитов на естественном языке. Пока только английский.

Netty framework

Мульти-протокольный сервер Netty. С учетом поддерживаемой модели событий - это сервер приложений, по сути.

Примеры проектов, использующих Netty: поиск в Twitter, Crate

P.S. когда-то они начинали как проект в составе JBOSS.

Открытые роботы

Материалы конференции Robotics Open Source

Икона Google

Все так - коллекция иконок от Google

Хранилище для дата-центров

Распределенное key-value хранилище с гео-репликацией данных: Cockroach. Интересна также приводимая авторами классификация: SQL - NoSQL - NewSQL

Учебник по Spark

Spark tutorial. И связанные вопросы.

См. здесь другие материалы по Spark

Архитектура Facebook

Интересные заметки о программной архитектуре Facebook. Для хранения всех медиа-данных используется Haystack

P.S. это в целом очень интересный источник по программной архитектуре.

Лямбда-архитектура

Процессы поверх Hadoop (MapReduce) или Storm

Вот еще дискуссия на Y-Combinator с парой интересных ссылок (Samoa, например)

Графы и базы данных

Хороший обзор - базы данных для графов. А также их применение.

Физический сканер

Интересная реализация - поиск товаров по образцу в магазине. Образец сканируется несколькими камерами, создается трехмерное изображение и это является поисковым "запросом".

Амперка

Довольно далеко уже продвинулся конструктор. Нравится этот проект.

Вероятностное программирование

Интересная тема - случайные события являются примитивами языка программирования. Вот что почитать:

Probabilistic Computing Group at MIT

Church - a probabilistic programming language

Venture - a higher-order probabilistic programming platform

Why Probabilistic Programming Matters

Figaro - a Free, Open-source Probabilistic Programming Language for Probabilistic Modeling

Probabilistic Models of Cognition

Статья на русском языке - Вероятностное программирование

Вибро-шпион

Интересный канал для возможной утечки данных с Android-телефона. Пара приложений с разными полномочиями доступа. Одно - вообще не имеет доступа к сети, второе - только к сети и имеет доступ. Первое читает какую-то информацию (SMS сообщения, например) и кодирует их колебаниями акселерометра. Второе - отслеживает данные акселерометра и публикует декодированное сообщение.

Беспорядочно распределенные системы

Язык программирования для распределенных систем - Bloom. Вот здесь можно прочитать подробнее о самом подходе - отход от линейного принципа в традиционных языках программирования и переход к хаотично взаимодействующим объектам.

Глобальная информационная сеть

Презентация на конференции ITU Kaleidoscope 2014:

О программе GIG можно еще почитать в INJOIT

AOP

Введение в aspect-oriented programming

INJOIT - call for papers

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 11-й номер журнала на 2014 год (том 2). Здесь можно посмотреть архив журнала.

/via OIT Lab

Данные измерений

Интересная идея - место, где можно хранить свои потоки данных от устройств. По сути - такой специализированный back-end для приложений. Здесь же другие приложения могут читать эти данные.

Поиск подобного дал еще следующие продукты (сервисы) для хранения данных в IoT:

Streametry

Thing Speak

Xively

Nitrogen

INJOIT vol. 2 no. 10

Вышел новый номер журнала INJOIT.

Темы статей: глобальная информационная сеть (GIG), телекоммуникации для военных нужд, программный комплекс для оценки потенциалов межатомного взаимодействия, разработка информационных систем, программирование в Internet of Things, социальные сети в обучении

Архив журнала находится здесь.

/via OIT Lab

NoSQL для администратора

Бесплатная книга - NoSQL для администратора БД. Больше всего в книге - про Apache Cassandra.

Раскрытие информации

Интересный эксперимент - на веб-странице помещали невидимое изображение, где ссылка ввела на профайл в LinkedIn. В результате, все посетители, кто на момент захода на веб-страницу был авторизован в LinkedId, отмечались как посетившие данный профайл. В блоге автора 35% посетителей оказались пользователями Linkedin

P.S. интересно, сколько пользователей LinkedIn прочло данную заметку ...

Mesh IoT

Mesh-платформа для IoT. Компания Sony.

HTTP/2

Наступает время HTTP/2

А здесь можно посмотреть IETF draft for HTTP 2.0. Идея с зхаголовками - вполне очевидна. В последовательности запросов можно поддерживать таблицу заголовков и менять только то, что реально изменилось. При множестве запросов с одной страницы экономия будет очевидной.

Магистратура по Data Science

Интересная попытка собрать Open Source источники в магистерскую программу по Data Science.

/via Поиск учебных курсов.

Для вас, редакторы

Шаблоны писем для научной редакции при взаимодействии с авторами. Осталось только сделать робота для полной автоматизации процесса :)

О параллелях

Пара хороших переводов о параллелизме в Java 7 и Java 8

Машина - как беспроводной тег

Презентация на конференции Nets4Cars 2014:

Использование Bluetooth Data Points для автомобилей.

Теги вокруг нас

Телефонные будки на улицах Нью-Йорка заполнены установленными BLE тегами. Но чтобы их использовать, нужно ведь каким-то образом уговорить пользователя поставить соответствующее мобильное приложение. Получается, что здесь в итоге будет два бизнес-направления. В первом, некоторая компания-оператор будет просто устанавливать где-только можно свои теги. Которые потом будут "предоставляться" разработчикам приложений (второе направление). То есть теги становятся инфраструктурным элементом. В конце концов будут коммерческие помещения строить сразу с инсталлированными тегами.

P.S. а вот если их еще будут втайне устанавливать при ремонте ...

Устройство FireChat

Очень интересные заметки о техническом устройстве Firechat. Непосредственное взаимодействие мобильных устройств по Bluetooth (Wi-Fi) без мобильной сети.

Есть Open Source аналог, о котором мы уже как-то упоминали: Serval Project. Исходные тексты - здесь. См. также предыдущую заметку об Ad-hoc сетях.

/via Bluetooth Data Points

Журнал INJOIT - собираем статьи

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 10-й номер журнала на 2014 год (том 2). Здесь можно посмотреть архив журнала.

/via OIT Lab

Классификация текстов по Байесу

Хороший материал - Байесовская классификация текстов

См. также другие материалы здесь.

Yo-yo

Еще о сервисе Yo. На этот раз - интеграция Yo и IFTTT

Шаблоны проектирования

Несколько бесплатных книг (статей), посвященных рассмотрению шаблонов проектирования:

Principles Wiki

Software Engineering for Internet Applications

Game Programming Patterns

Microsoft Application Architecture Guide Software Design by Martin Fowler

The Architecture of Open Source Applications

Печальный прогноз

Довольно пессимистичная оценка для BLE тегов: 60 млн. в 2019 году.

/via Bluetooth Data Points

Yo

прекоасный пример, как продвижение мобильного приложения победило все - и технику и здравый смысл: Почему вы установите это приложение

Распределенные акторы

Проект Orleans - распределенные акторы для работы в облачной среде.

См. также в этой связи Akka

Где бы еще поискать?

Поиск по физическим объектам. Весьма актуально для IoT. Проект от Google.

Еще о распределенных системах

Серия публикаций о распределенных системах - Jepsen. В настоящий момент автор, похоже, приостановил работу над новыми публикациями. Но имеющийся контент - весьма полезен и интересен.

ETSI LTN

Довольно важный шаг для M2M. Новая серия стандартов от ETSI для сетей с малой пропускной способностью.

ZooKeeper

Техническая статья о lock manager от Apache - ZooKeeper: Wait-free coordination for Internet-scale systems.

Вот еще по этой теме:

Curator - API для Zookeeper

Еще одно описание ZooKeeper

О распределенных системах

Хорошая книга по распределенным системам в открытом доступе (и даже в разных форматах): Distributed systems for fun and profit

Mesh-сети на практике

Протестующие в Гонконге стимулировали интерес к mesh-сетям. Они используют их для обмена данными на смартфонах, когда нет ни мобильной сети, ни Wi-Fi.

Вот здесь можно прочесть про Multipeer на iPhone. А это - сайт самой компании Open Garden.

P.S. вот еще на русском написали про FireChat

И о технологиях

Есть ли будущее у технологических стартапов? В более общей постановке - у тех, чей продукт не продает что-то непосредственно конечным клиентам. Вот здесь автор (венчурный инвестор) считает, что есть. И заключается это будущее в предоставлении технических решений для других проектов.

Context awareness

Интересные материалы об использовании контекстно-зависимых вычислений в организации рабочего пространства.

/via Bluetooth Data Points

Редактирование статей

Интересная идея - профессиональный редактор для текстов: 300editors. И реализация любопытная - как плагин для Google Docs.

Hive и Hadoop

Практическая статья по совместному использованию Hive и Hadoop. Рассматривается пример задачи технического мониторинга.

PostgreSQL vs. MongoDB

PostgreSQL обогнал по производительности MongoDB

P.S. И эпическая дискуссия по этому поводу. NoSQL хорош хотя бы тем, что активизировались производители баз данных.

Масштабирование NoSQL

Виртуализация - это зло для NoSQL

Умная розетка 2.0

Вот есть GSM розетка. Она позволяет, например, отключать электроприборы по SMS. А в EverMind взглянули на проблему под другим углом. Этот адаптер, наоборот, посылает SMS когда через него что-то подключается. Цель - слежение за пожилыми людьми дома. Не включается телевизор, не посылается SMS - повод забеспокоиться. Электроплита, например, может быть подключена через такой адаптер. И тогда о том, что электроплитой воспользовались, будет приходить SMS.

А если SMS (email) будет отправляться через некоторое промежуточное ПО, то тогда еще можно будет анализировать поведение - а в то же время, что и обычно включен электрический чайник или нет? И так далее.

О решающих деревьях

Хорошая подборка материалов по использованию Decision Trees. И их практическое построение с использованием RapidMiner.

iBeacons на практике

Как это выглядит - заказ в ресторане с использованием iBeacons

Основания теории вероятностей

Хорошая лекция от А.Шень по основам теории вероятностей. Доступны видео и стенограмма.

/via Поиск учебных курсов.

DINWC - 2015

Конференция в Москве: The Third International Conference on Digital Information, Networking, and Wireless Communications (DINWC2015)

Отслеживание присутствия

Трекер присутствия с помощью iBeacons. Тексты приложения доступны.

P.S. вот еще нашлась интересная дискуссия по этому приложению.

Еще о push-уведомлениях

У нас в последнее время было несколько работ, посвященных использованию push-уведомлений. См., например, работы А.Павлова: INJOIT vol.2, No. 8 (2014) или INJOIT vol.2, No. 7 (2014)

Вот еще одна работа, выполненная магистрантом А. Пустобаевым: Сервис push-уведомлений. Та же самая идея - использование push notification в информационных сервисах без программирования.

Самовоспроизводство

Тема, которая всегда была интересна - мобильное веб-приложение для создания мобильных веб приложений.

Еще интересней было бы увидеть такую систему во встраиваемом варианте. Как веб-компоненту, которая позволяла бы создать сайт, URL которого тут же был бы использован в приложении.

Программирование по шаблонам

Язык программирования Egison - pattern matching

Цепи Маркова

Хорошее объяснение - Цепи Маркова.

Применения iBeacons

Аккуратно подобранные модели использования (применения) iBeacons. Автор - оптимист :)

/via Bluetooth Data Points

О параллельном программировании

Хорошая книга Seven Concurrency Models in Seven Weeks.

Да и сам ресурс весьма интересный - IT Ebooks

Deep Learning

Аннотированная библиография по теме deep learning. Свежие статьи.

См. также другие публикации по теме deep learning

Картинки

Flickr открыл наборы изображений для исследователей.

Чаты

Конфигурируемые чаты для приложений.

В более простом варианте на сайте Coldbeans есть chat-engine. Используется, например, внутри Wi-Fi chat

Большой make

Система для сборки проектов, написанных на разных языка программирования - Pants

Tizen все?

Сообщение от организаторов конкурса: "Russia Tizen App Challenge: изменились условия конкурса. В связи с тем, что запуск смартфона Samsung Z отложен на неопределённый срок, мы вынуждены поменять условия конкурса."

Сенсоры для логистики

Интересный GPS-трекер для логистики. Libelium делает интересные продукты. Мы используем, например, их устройство для мобильного мониторинга.

Микро-сервисы

Горячая на сегодняшний день тема - архитектура IT систем на базе микро-сервисов. Вместо монолитного куска - конгломерация сервисов с четко обозначенными API. Вот хорошая подборка ресурсов по теме микро-сервисов.

Можно еще также посмотреть статью в INJOIT: Namiot, D., & Sneps-Sneppe, M. (2014). On Micro-services Architecture. International Journal of Open Information Technologies, 2(9), 24-27.

Экосистема для Spark

Разработчики big data полны решимости полностью заменить MapReduce - Spark и сопутствующие продукты.

См. другие материалы по Spark.

Социальная торговля

Social Retail. Интересно - подключенный к сети планшет в примерочной, чтобы делали селфи.

Параллельное программирование

Chapel - язык для параллельного программирования. От Cray.

Конструкция языка:

begin
{
    здесь код
}

просто запускает указанный фрагмент кода как отдельную задачу.

Реактивное программирование

Введение в программирование асинхронных потоков - reactive programming. Это то, что должно стать рабочим инструментом для IoT, например. Потоки данных от сенсоров как раз асинхронны. В следующем номере INJOIT должна быть статья об этом.

P.S. вот здесь еще нашлась интересная дискуссия по FRP

Все для администратора

Полезные подборки инструментов для системного администратора:

Awesome Sysadmin. Возможно, лучшее по полноте

Software Recommendations Stack Exchange

First AID Kit

Lean Stack

Био-очки

Как можно использовать Google Glass для оценки состояния человека. Анализ сенсорных данных (акселерометра). Есть ссылка на статью авторов (MIT Media Lab).

MTS

Интересная статья по сравнению временных рядов Multivariate Time Series Similarity Searching

Докер

Отерытая платформа для распределенных приложений - Docker. Контейнер в данном случае - это по сути виртуальная машина, только без супервизора. Проект поддерживает Google.

Вот весьма содержательная критика.

Счетчик посетителей на BLE

Как может быть устроен подсчет посетителей на основе iBeacons

Эхо-локатор

Навигация в помещении на основе эхо-локации. По аналогии с Wi-Fi навигацией, где создается радиокарта помещения, здесь создается звуковая карта (как видятся отраженные сигналы в конкретной точке)

Что будет с NFC?

Достоверно, конечно, никто знать не может. но все зависит от поддержки сильных игроков рынка. Вот Apple, например, обещает обратить внимание на NFC. Вот здесь есть хорошая подборка патентов Apple в области NFC и мобильных платежей.

Отозванные статьи

Ресурс, который отслеживает статьи, отозванные из научных журналов. Причины отзыва - различные нарушения научной этики.

P.S. Было такое и в истории INJOIT - одну статью удалили через неделю после публикации. Обнаружился плагиат, на который указал один из читателей.

Бесплатная почта

Принципы компьютерной рекламы - в реальную жизнь. Бесплатные почтовые системы (Yahoo, Gmail - показывают рекламу при открытии письма. А вот здесь предлагают бесплатно рассылать обычную почту, докладывая рекламу в конверт.

Анализ данных измерений

Практический материал (учебник) - анализ данных сенсоров с помощью Hadoop

Конференция "Современные информационные технологии и ИТ-образование"

Продолжается примем работ на IX Международную научно-практическую конференцию «Современные информационные технологии и ИТ-образование». Конференция пройдет 14-16 ноября 2014 года в МГУ имени М.В.Ломоносова. Помимо публикации докладов в сборнике конференции, авторам лучших презентаций будет предложено опубликовать свои работы в журнале INJOIT

/via Лаборатория ОИТ

Custom check-in

Мы много писали о так называемых custom check-in. Это сервис, который позволяет создавать собственные формы для отметок (check-in) в Facebook. Check-in - это просто некая специальная запись на стене пользователя, в его ленте и т.д. Отметки при этом совсем не обязательно привязывать только к местоположению. Их можно привязать к выдаче каких-либо преференций пользователю (отметьтесь и получите скидку и т.п.)

Вот хороший пример использования custom check-in для присоединения к Wi-Fi сети.

Оставленные сообщения

Сервис, который позволяет оставить сообщения своим друзьям. Сообщения будут видным тем, кто оказался поблизости.

Такую схему можно реализовать с альтернативным опеределением местоположения - на основе network proximity. Это хорошая модель для использования BDP, например.

Java 8

Что нового в Java 8. Лямбда-выражения и другие изменения.

Поиск аномалий

Простой (и наглядный) поиск отклонений на графиках. Еще один пример практического применения машинного обучения.

Google квантум

Интересный материал о планах Google, связанных с квантовым компьютером

Обработка потоков

Статья, объясняющая stream processing в Google Data Flow

Архитектура M2M

Об архитектуре программного обеспечения для M2M:

Namiot, D., & Sneps-Sneppe, M. (2014). On M2M Software Platforms. International Journal of Open Information Technologies, 2(8), 29-33.

Практика SDN

Как SDN используется в Google. Но детали протокольного стека не раскрывают.

Google Cloud

Впечатляющий список продуктов. Самый интересный из них - это, пожалуй, Data Flow

БД для графов

Интересная дискуссия вокруг графических баз данных. Суть в том, что многие реляционные базы данных стали поддерживать клаузу WITH RECURSIVE в запросах. А это позволяет записать запрос "по дереву" на обычном SQL

На смерть Map-Reduce

Патетический материал о кончине применения Map-Reduce в Google. Соответственно, и для Hadoop Map-Reduce уже не является эксклюзивным фреймворком. Apache Spark, например, использует Directed Acyclic Graph. Вот здесь, например, можно прочитать про преимущества Spark по сравнению с MapReduce (отсутствие синхронизации).

P.S. вот в связи с этой статьей нашлась связанная с ней дискуссия о распределенных файловых системах

P.P.S. из других альтернативных (по отношению к MapReduce) систем см., например, Apache Hama и графовую модель GPS

Поиск по исходным текстам

Поисковая система по исходным текстам. Ищет по исходным текстам в Github, Bitbucket, Google Code, Codeplex, Sourceforge, Fedora Project и т.п.

После некоторого поиска, вот еще что обнаружилось:

1. Поиск по Java коду. Для Android, например GrepCode
2. Поиск для Ruby Ruby Code Search
3. Python, JavaScript, Go Source Graph
4. Поиск по исходным текстам Open Hub
5. Поиск с открытым кодом Krugle
6. Google Code Search Chromium Code Search

P.S. Мета-поисковики - это всегда интересно. Вот пара имеющихся у нас: поиск учебных курсов и поиск по купонам и скидкам.

Эрлангомания

Все про Эрланг. Хороший ресурс для интересующихся параллельным программированием.

INJOIT - call for papers

Бесплатный рецензируемый научный журнал. The International Journal of Open Information Technologies (INJOIT). ISSN: 2307-8162. Индексируется в РИНЦ. Научные публикации для магистров и аспирантов. Статьи на русском или английском. Издатель: Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова.

Принимаем статьи в 10-й номер журнала на 2014 год (том 2). Здесь можно посмотреть архив журнала.

/via OIT Lab