Искусственный интеллект в оценке стоимости — различия между версиями

Материал из wiki по квалификационному экзамену Оценщиков
Перейти к: навигация, поиск
(The spreadshhet for Box-Cox transform was added)
 
(не показано 12 промежуточных версий 3 участников)
Строка 15: Строка 15:
 
# нейронные сети: перцептрон, свёрточные.
 
# нейронные сети: перцептрон, свёрточные.
  
Обсуждение: https://www.facebook.com/groups/1977067932456703/?ref=share
+
Обсуждение:
 +
[https://www.facebook.com/groups/1977067932456703/?ref=share в соцсети*]<ref>* соцсеть принадлежит компании «Мета» (Meta Platforms Inc.), данная организация признана экстремистской и запрещена на территории РФ</ref>
 +
[https://t.me/AIinValuation в телеграме]
  
 
Материалы:
 
Материалы:
 
Statistics, Machine Learning, Data Mining and Artificial Intelligence in Valuation
 
Statistics, Machine Learning, Data Mining and Artificial Intelligence in Valuation
  
git clone https://github.com/Kirill-Murashev/AI_for_valuers_book
+
* [https://github.com/Kirill-Murashev/AI_for_valuers_book git clone_Kirill-Murashev_AI_for_valuers_book]
 +
* [https://github.com/Kirill-Murashev/AI_for_valuers_R_source git clone_Kirill-Murashev_AI_for_valuers_R_source]
 +
* [https://github.com/Kirill-Murashev/AI_for_valuers_Python_source git clone_Kirill-Murashev_AI_for_valuers_Python_source]
  
git clone https://github.com/Kirill-Murashev/AI_for_valuers_R_source
+
Отдельные работы:
 +
1. [http://kvalexam.ru/images/7/78/Frequentist-and-Bayesian-probability.pdf Краткое введение в различия между частотным и байесовским подходами к вероятности в оценке стоимости]
 +
 
 +
2. [https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Sample-variance/Sample-variance-subtract-one.md Обоснование необходимости вычитания единицы при расчёте выборочной дисперсии]
 +
 
 +
3. [https://github.com/Kirill-Murashev/AI_for_valuers_book/tree/main/Parts-Chapters/Mann-Whitney-Wilcoxon Практическое применения U-критерия Wilcoxon-Mann-Whitney в оценочной деятельности]
 +
 
 +
4. [https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Box-Cox-R/Box-Cox-transformation.md Приведение данных, имеющих распределение отличного от нормального, к нормальному путём преобразования Box-Cox]
 +
 
 +
5. [https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Outliers-handling/Outliers.ipynb Обработка выбросов в рыночных данных]
 +
 
 +
6. Электронная таблица для преобразования рыночных данных по методу Box-Cox, а также вычисления оптимального значения лямбда ([https://web.tresorit.com/l/gMSV3#lZ4ZYpX6SWR9mWF1GK3bVg здесь])
 +
 
 +
7. Электронная таблица для проверки нормальности распределения рыночных данных (на данный момент реализованы методы Шапиро-Уилка, Андерсона-Дарлинга, Харке-Бера, Колмогорова-Смирнова, Хи-квадрат) ([https://drive.google.com/file/d/1Ft8VtvlpXALMmcqExKipWgD_bGZwK5r1/view?usp=sharing тут])
  
git clone https://github.com/Kirill-Murashev/AI_for_valuers_Python_source
+
8. Электронная таблица для расчёта трёх коэффициентов корреляции: Пирсона, Спирмена, Кендалла ([https://drive.google.com/file/d/1hqxxA4_7HjkisNTEi4-fKaQnvcmKBXVi/view?usp=sharing здесь])
  
Отдельные работы:
+
9. Jaccknife resampling. При анализе данных об открытых рынках оценщики часто сталкиваются с необходимостью оценить некоторые параметры этих рынков. Однако, скорее всего, у них никогда не будет возможности работать с данными по всему рынку. Вместо этого они собирают выборки, содержащие относительно небольшое количество наблюдений. Необходимо понимать, что любая оценка, сделанная на основе выборки, актуальна только для этой выборки. В то время как типичной целью является оценка параметра для всего рынка. В этом случае можно сказать, что любая выборочная оценка может иметь смещение относительно истинного значения всего рынка. Но мы можем частично преодолеть эту проблему, применив метод Jackknife. Данный материал содержит некоторые теоретические основы, а также практическую реализацию на Python. [https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Jackknife/jackknife.ipynb Английская], [https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Jackknife/jackknife-esp.ipynb испанская] и [https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Jackknife/jackknife-nov.ipynb русская] версии материала.
1. Краткое введение в различия между частотным и байесовским подходами к вероятности в оценке стоимости
 
(http://kvalexam.ru/images/7/78/Frequentist-and-Bayesian-probability.pdf)
 
  
2. Обоснование необходимости вычитания единицы при расчёте выборочной дисперсии
+
10. Бутсрап в оценке стоимости. Материал о применении бутстрапа в оценочной деятельности на примере разработки элементов кредитной политики небольшого банка. В целом можно сказать, что данный метод является одним из краеугольных камней машинного обучения и может быть использован практически повсеместно в повседневной практике оценщиков. Материал состоит из небольшой теоретической части, а также кода на языке Python. Доступен на [https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Bootstrap/bootstraping_CP.ipynb английском], [https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Bootstrap/bootstraping_CP-esp.ipynb испанском] и [https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Bootstrap/bootstraping_CP-nrs.ipynb русском языках].
(https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Sample-variance/Sample-variance-subtract-one.md)
 
  
3. Практическое применения U-критерия Wilcoxon-Mann-Whitney в оценочной деятельности
+
11. Геокодирование и расчёт дистанции между объектами. Разработал электронную таблицу (Google Sheets), получающую координаты объектов по их адресу либо названию, которая затем рассчитывает расстояние между ними. Обеспечивает определённую степень автоматизации при работе с геоданными для оценщиков.  
(https://github.com/Kirill-Murashev/AI_for_valuers_book/tree/main/Parts-Chapters/Mann-Whitney-Wilcoxon)
+
[https://docs.google.com/spreadsheets/d/1reaO4XeWRMj7XoDCROp5boWp1uvc-3Cqk4DKKdCuVtE/edit?usp=sharing Таблица]
 +
[https://youtu.be/HTsJwf42_W4 Видеоинструкция на русском языке]
 +
[https://t.me/AIinValuation обсуждение на русском языке]
  
4. Приведение данных, имеющих распределение отличного от нормального, к нормальному путём преобразования Box-Cox
+
12. AssetWise 1.0.0: инструмент оценки в условиях неопределённости. [https://t.me/AIinValuation/93 Бесплатная программа для оценки в условиях недостатка данных]
(https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Box-Cox-R/Box-Cox-transformation.md)
 
  
5. Обработка выбросов в рыночных данных (https://github.com/Kirill-Murashev/AI_for_valuers_book/blob/main/Parts-Chapters/Outliers-handling/Outliers.ipynb)
+
13. [https://t.me/AIinValuation/94 Версия исследования рынка жилой недвижимости в многоквартирных домах в разрезе регионов по состоянию на 2023-11-30. Источник исходных данных: Домклик.]
  
6. Электронная таблица для преобразования рыночных данных по методу Box-Cox, а также вычисления оптимального значения лямбда (https://web.tresorit.com/l/gMSV3#lZ4ZYpX6SWR9mWF1GK3bVg)
+
14. [https://t.me/AIinValuation/90 Коэффициент Джини в оценке]

Текущая версия на 12:02, 16 января 2024

Искусственный интеллект в оценке стоимости

Цель: разработка систем поддержки принятия решений при оценке стоимости, основанных на искусственном интеллекте.

Задачи:

  1. автоматизированный сбор данных;
  2. геокодирование;
  3. описание свойств рынка;
  4. проверка статистических гипотез о свойствах рынка;
  5. задачи классификации: кластерный анализ, метод k-средних и т. д.;
  6. задачи снижения размерности;
  7. методы параметрической статистики: анализ корреляции, регрессионный анализ и т. д.;
  8. методы непараметрической статистики: анализ корреляции, регрессионный анализ и т. д.;
  9. методы машинного обучения: решающие деревья, их леса, градиентный бустинг.
  10. нейронные сети: перцептрон, свёрточные.

Обсуждение: в соцсети*[1] в телеграме

Материалы: Statistics, Machine Learning, Data Mining and Artificial Intelligence in Valuation

Отдельные работы: 1. Краткое введение в различия между частотным и байесовским подходами к вероятности в оценке стоимости

2. Обоснование необходимости вычитания единицы при расчёте выборочной дисперсии

3. Практическое применения U-критерия Wilcoxon-Mann-Whitney в оценочной деятельности

4. Приведение данных, имеющих распределение отличного от нормального, к нормальному путём преобразования Box-Cox

5. Обработка выбросов в рыночных данных

6. Электронная таблица для преобразования рыночных данных по методу Box-Cox, а также вычисления оптимального значения лямбда (здесь)

7. Электронная таблица для проверки нормальности распределения рыночных данных (на данный момент реализованы методы Шапиро-Уилка, Андерсона-Дарлинга, Харке-Бера, Колмогорова-Смирнова, Хи-квадрат) (тут)

8. Электронная таблица для расчёта трёх коэффициентов корреляции: Пирсона, Спирмена, Кендалла (здесь)

9. Jaccknife resampling. При анализе данных об открытых рынках оценщики часто сталкиваются с необходимостью оценить некоторые параметры этих рынков. Однако, скорее всего, у них никогда не будет возможности работать с данными по всему рынку. Вместо этого они собирают выборки, содержащие относительно небольшое количество наблюдений. Необходимо понимать, что любая оценка, сделанная на основе выборки, актуальна только для этой выборки. В то время как типичной целью является оценка параметра для всего рынка. В этом случае можно сказать, что любая выборочная оценка может иметь смещение относительно истинного значения всего рынка. Но мы можем частично преодолеть эту проблему, применив метод Jackknife. Данный материал содержит некоторые теоретические основы, а также практическую реализацию на Python. Английская, испанская и русская версии материала.

10. Бутсрап в оценке стоимости. Материал о применении бутстрапа в оценочной деятельности на примере разработки элементов кредитной политики небольшого банка. В целом можно сказать, что данный метод является одним из краеугольных камней машинного обучения и может быть использован практически повсеместно в повседневной практике оценщиков. Материал состоит из небольшой теоретической части, а также кода на языке Python. Доступен на английском, испанском и русском языках.

11. Геокодирование и расчёт дистанции между объектами. Разработал электронную таблицу (Google Sheets), получающую координаты объектов по их адресу либо названию, которая затем рассчитывает расстояние между ними. Обеспечивает определённую степень автоматизации при работе с геоданными для оценщиков. Таблица Видеоинструкция на русском языке обсуждение на русском языке

12. AssetWise 1.0.0: инструмент оценки в условиях неопределённости. Бесплатная программа для оценки в условиях недостатка данных

13. Версия исследования рынка жилой недвижимости в многоквартирных домах в разрезе регионов по состоянию на 2023-11-30. Источник исходных данных: Домклик.

14. Коэффициент Джини в оценке
  1. * соцсеть принадлежит компании «Мета» (Meta Platforms Inc.), данная организация признана экстремистской и запрещена на территории РФ