Веб-система агрегации и интеллектуального анализа проектов фриланс-бирж


The Presentation inside:

Slide 0

Веб-система агрегации и интеллектуального анализа проектов фриланс-бирж Докладчик: Савин И.И. 1


Slide 1

Состояние фриланса на сегодня Фриланс – удаленная разовая работа Фриланс-биржа – веб-площадка публикации заказов Особенности: Идеальный путь быстрого заработка и накопления опыта Широкое распространение с развитием интернета Максимально гибкие условия работы Проблемы: Много источников заказов (фриланс-бирж) Конкуренция с фриланс-компаниями Требуется быстрый анализ сложности и бюджета заказа 2


Slide 2

Существующие помощники фрилансера 3


Slide 3

Структура комплекса Lancery 4 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ


Slide 4

Структура комплекса Lancery 5 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ


Slide 5

Особенности агрегации проектов Технологии и приемы: Really Simple Syndication (RSS) Полиморфизм модулей для индивидуальных правил обработки источника Особенности: Независимость модулей бирж друг от друга Простота модификации и добавления новых источников Результат работы: Оперативное добавление новых проектов с бирж в Lancery 6


Slide 6

Структура комплекса Lancery 7 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ


Slide 7

Нормализация проектов 8 Этапы нормализации: Разбиение текста на зоны важности Разбиение на термы, леммизация Фильтрация по части речи (сущ., глаг., прил.) Подсчет частоты термов в документе Отброс стоп-слов Итоги нормализации: Ключевые слова проекта Поиск по навыкам, технологиям Векторная модель документа (ВМД) подойдет для более глубокого анализа


Slide 8

Структура комплекса Lancery 9 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ


Slide 9

Особенности кластеризации 10 Особенности ВМД: Объекты имеют различное количество атрибутов Всех возможных атрибутов много Метрика Жаккара: Адекватное сравнение неоднородных множеств Быстрота вычисления Итоговая метрика:


Slide 10

Особенности кластеризации 11 A B C D Алгоритм ROCK: Количества общих соседей (ссылок) как мера близости двух объектов Свойства: Поиск похожих фактов, изложенных разными словами Иммунитет к выбросам Быстрое вычисление итераций кластеризации Вычислительная сложность этапа подготовки данных О(n?)


Slide 11

Особенности кластеризации Проблема: Большая вычислительная сложность вызывает проблемы с масштабированием (в Lancery уже более 60 000 проектов) Решение: периодическая кластеризация небольшими порциями Преимущества: Каждый объект участвует в нескольких распределениях Результаты готовы через 2-5 минут Низкие требования к ресурсам сервера 12 Проекты за 24 часа 3ч 2ч 1ч сейчас


Slide 12

Результаты кластеризации Прогноз бюджета проекта на основе наблюдений за схожими проектами того же периода Возможность прогнозировать любые другие частично неопределенные свойства объектов (сложность, риски) Составление рекомендаций проектов на основании интересов пользователя 13


Slide 13

Структура комплекса Lancery 14 База данных Сборщик проектов Биржи Нормализатор Кластеризатор Фильтры Кластеры Проекты Запуск каждую минуту Запуск после сборщика Запуск каждый час Фрилансер Оперативный ответ


Slide 14

Оперативная реакция В подавляющем большинстве случаев исполнитель выбирается из авторов первых 1-3 ответов Система оперативной реакции: Отправить ответ прямо с ленты проектов Lancery на биржу Мобильная версия Автоматическая авторизация на нужной бирже 15 Агрегатор Страница проекта Авторизация на бирже Ответ отправлен Страница ответа


Slide 15

Резюме проекта Методика анализа текста отмечена на конференциях «Телематика 2010», «МИЭМ 2010», «МИЭМ 2011» и других Участник конкурса «УМНИК-Сколковец» Победитель программы «У.М.Н.И.К. 2011» 16 Докладчик: Савин Иван [email protected] Спасибо за внимание Адрес проекта: http://lancery.ru Мобильная версия: http://m.lancery.ru


×

HTML:





Ссылка: