Все говорят о науке о данных, больших данных, искусственном интеллекте и машинном обучении.
Data Science (наука о данных) — это раздел компьютерной науки, связанный с данными: их сбором, обработкой, анализом и поиском эффективных решений.
Наука с данными и о данных
В конце 20-го века правительства, всевозможные организации, компании и даже частные лица смогли собрать и хранить огромные объемы данных («большие данные»). В мире, полном данных, математики и программисты разработали ряд методов извлечения информации, стали появляться всё больше приложений, методы становились сложнее... возникла новая область науки. Эта новая область быстро росла и получила название «Наука о данных» и теперь признана серьезной областью исследований и преподавания.
Наука о данных как наука охватывает все технические аспекты обработки данных. Будучи специалистом по обработке и анализу данных (или даже junior-аналитиком) необходимо знать математику, чтобы правильно применять ее методы. Наука о данных также затрагивает юридические и этические вопросы, социологические проблемы: возможность использования данных для своего проекта; поиск и сбор персональных данных; влияние на общество.
Чем занимается специалист по данным?
Практически все проекты в области науки о данных можно разделить на четыре этапа.
1. Сбор данных
Данные необходимо каким-то образом записывать и хранить. Планирование и реализация процессов сбора данных называется «инженерией данных». Типичные задачи на этом этапе включают установку и настройку датчиков, настройку систем баз данных и мониторинг потока данных с использованием подходящих технических инструментов.
2. Очистка и реструктуризация данных
Собранные данные часто содержат ошибки и пробелы. Поэтому их необходимо сначала очистить. Почти всегда для успешного извлечения полезной информации необходимо объединить несколько наборов данных из разных источников. Эти этапы предварительной обработки требуют большого объема ручной работы, а также базовые знания в прикладных областях, из которых поступают данные. Тщательная предварительная обработка данных упрощает последующие этапы обработки и не менее важна, чем последующий этап моделирования.
3. Моделирование
На основе собранных и предварительно обработанных данных создается математическая или алгоритмическая модель. В зависимости от того, какую конкретную задачу необходимо решить с помощью данных, такая модель может описывать данные («дескриптивное моделирование») или отвечать на вопрос на основе данных («прогностическое моделирование»).
4. Презентация результатов
Информация, полученная на основе данных, должна быть передана клиенту. Визуализация — важнейший инструмент представления результатов.
Искусственный интеллект
Искусственный интеллект (AL)— это отрасль науки о данных. Многие, если не все, методы искусственного интеллекта основаны на обработке больших объемов данных. Системы обработки изображений и речи обучаются на огромных коллекциях образцов изображений и текста. Автономное вождение использует обучение с подкреплением, которое можно интерпретировать как сбор данных на основе ранее собранных данных (сбор данных «по требованию»).
Машинное обучение
Машинное обучение (ML) — это подход к написанию компьютерных программ, которые учатся делать то, что вы хотите, на основе данных. Более конкретно: вы создаете математическую или алгоритмическую модель с множеством свободных параметров, которая затем автоматически адаптируется к существующим данным с помощью процессов оптимизации. В конечном счете, машинное обучение — это особый подход к разработке программного обеспечения. Вы не пишете программу конкретно построчно, а создаете очень общую программу, детали которой заполняются автоматически на основе информации, содержащейся в ранее собранных данных.
