Топ фильмов IMDb

Перед началом анализа требуется провести дополнительную фильтрацию и сортировку данных с целью повышения их качества и удобства для последующей обработки. На данном этапе будут выявлены и устранены возможные пропуски, а также приведены к единому формату ключевые параметры датасета. Это позволит обеспечить корректность анализа и достоверность полученных результатов.

Были выявлены и удалены строки с аномальными значениями в признаке runtime, которые не соответствовали формату продолжительности фильма. Кроме того, признаки runtime и gross_earn были очищены от нечисловых символов и приведены к числовым типам данных, что позволяет использовать их в статистическом анализе и визуализациях.

Также была выполнена сортировка данных по убыванию рейтинга фильмов и переопределение индексов, что упростило дальнейшую работу с датасетом. В результате проведённых преобразований был получен очищенный и структурированный набор данных, пригодный для последующего разведочного анализа.

Сначала мы взяли столбец с доходами фильмов и сохранили его отдельно, чтобы с ним было удобнее работать. Потом посмотрели на максимальные и минимальные значения и заметили, что есть фильмы с доходом 0, поэтому мы их исключили, чтобы не искажать результаты.

Дальше мы посчитали средний доход и медиану, чтобы понять, какой доход типичен для фильма, и посмотрели на разные процентили — это помогает увидеть, как распределены доходы и где сосредоточено большинство фильмов.

Если мы попробуем построиить диаграмму «ящик с усами» с помощью метода boxplot (). Мы увидим, диаграмма пустая. Это связано с наличием пропущенных значений по признаку. Очистим клонку от пустых значений с помощью dropna и попробуем заново построить «ящик с усами»

Гистограмма показывает, достаточно большой размах в данных, что подтверждается и показателями описательной статистики (min и max). Ограничем графический анализ 10 процентилем снизу и 90 процентилем сверху, тем самым обработав часть выбросов, и заново построим гистограмму передав в нее параметр bins=20 для лучшей визуализации

Размах значений оказался очень большим от 0 до 936 у.е

Нулевых значений не так много. Можно их исключить из анализа.

Если вы хотите знать, какой доход имеют большинство фильмов, вы можете посмотреть на медиану (50-й процентиль).

Если вам интересно, какой доход имеют самые успешные 10% фильмов, вы можете посмотреть на 90-й процентиль.

Пример

Представьте, что у вас есть 100 фильмов, и вы хотите понять, как распределены их доходы. Процентили помогут вам увидеть: 10% фильмов зарабатывают меньше 0.797. 25% фильмов зарабатывают меньше 7.0. 50% фильмов зарабатывают меньше 28.345. 75% фильмов зарабатывают меньше 63.04. 90% фильмов зарабатывают меньше 121.968

Ящик с усами не дает полного понятия о распределении признака поэтому использовали гистограмму, далее обработав часть выбросов и увелича кол-во интервалов можем лучше провести анализ распределения признака.

Дальше мы посчитали, сколько раз встречается каждая категория с помощью value_counts (). И чтобы потом красиво построить столбчатую диаграмму, мы отсортировали результаты по возрастанию: так самые популярные сертификаты будут отображаться сверху, а менее частые — внизу.

То есть мы не просто смотрим на числа, а сразу готовим данные для наглядного и понятного графика.

Выделим топ-5 классов, по которым больше всего фильмов и сохраним результат в переменную certificate_counts_top_5

P. S. При анализе категориальных признаков если категорий не больше 5, то предпочтительна круговая диаграмма, в ином случае — столбчатая

Количество уникальных значений: признак имеет 15 уникальных значений, что говорит о достаточно разнообразных категориях.

Наиболее часто встречающееся значение: чаще всего встречается значение 15, оно встречается 1843 раза, то есть почти в половине случаев.

Распределение значений: выделяются 5 крупных значений, которые встречаются значительно чаще остальных, остальные значения встречаются гораздо реже.

Графический анализ: столбчатая и круговая диаграммы показывают, что сертификат 15 занимает почти половину всех крупных сертификатов, что наглядно демонстрирует его доминирующее положение среди категорий.

Дальше мы решили посмотреть, как отличаются доходы фильмов в зависимости от класса сертификата. Для этого сначала мы сгруппировали данные по признаку certificate и посчитали медианный доход для каждого класса. Это позволило понять, какой доход является типичным внутри каждой категории.

Затем мы расширили анализ и рассчитали описательные статистики доходов в разрезе классов с помощью метода describe (). Так мы увидели не только медиану, но и средние значения, разброс, минимумы и максимумы по каждому сертификату.

После этого мы попытались визуализировать распределения доходов с помощью диаграммы «ящик с усами». Однако график получился малоинформативным: из-за большого количества классов и наличия выбросов его было сложно интерпретировать.

Чтобы упростить анализ, мы посчитали, сколько раз встречается каждый класс, и увидели, что крупных классов всего 8. Поэтому мы решили ограничиться только ими. Мы сохранили список топ-8 сертификатов и отфильтровали исходный датасет, оставив только фильмы с этими классами.