Журнал: Интеракция. Интервью. ИнтерпретацияЖуликов К. О.Критерии оценки синтетических респондентов в качественных исследованиях: границы применимости

Институт социологии
ФНИСЦ РАН

Журнал: Интеракция. Интервью. Интерпретация

Жуликов К. О.

Критерии оценки синтетических респондентов в качественных исследованиях: границы применимости

DOI: https://doi.org/10.19181/inter.2026.18.2.5
Жуликов Кирилл Олегович
Московский государственный университет имени М.В. Ломоносова, Москва, Россия
Магистрант, кафедра экономической социологии и менеджмента социологического факультета

Полный текст

Открыть текст

Ссылка при цитировании:

Жуликов К. О. Критерии оценки синтетических респондентов в качественных исследованиях: границы применимости // Интеракция. Интервью. Интерпретация. 2026. Том. 18. № 2. С. 147-160.
DOI: https://doi.org/10.19181/inter.2026.18.2.5. EDN: CJIFVV

Рубрика:

Обзоры

Аннотация:

Большие языковые модели (LLM) все чаще применяются для генерации синтетических респондентов — текстовых симуляций ответов информантов, которым задан определенный социально-демографический профиль. Для количественных синтетических данных уже разработаны подходы к оценке, основанные на сопоставлении статистических распределений с результатами массовых опросов. Для качественных данных устоявшиеся критерии отсутствуют. В литературе это описывается как временный пробел, который будет восполнен по мере развития инструментария, и как ограничение, связанное с более глубоким несоответствием между основаниями качественной методологии и природой синтетических данных. Статья содержит аналитический обзор подходов к оценке синтетических респондентов в трех исследовательских традициях: вычислительных социальных науках, обработке естественного языка и качественной методологии. Обзор публикаций 2022–2026 годов показал, что наиболее формализованные подходы (статистические сравнения распределений и автоматические текстовые метрики) измеряют свойства, второстепенные для качественной работы. Подходы, сложившиеся внутри качественной традиции, затрагивают содержательно значимые свойства (контекстуальную специфичность, внутреннюю противоречивость, нарративное сопротивление), но зафиксированы на уровне наблюдений и не операционализированы. Сопоставление свойств качественных данных с существующими критериями выявляет неохваченные моменты, в том числе внутренние противоречия нарратива, речевые особенности и способность данных порождать нетривиальные интерпретации. На основе проведенного сопоставления очерчиваются те области, в которых применение синтетических респондентов в качественных исследованиях представляется оправданным, и те, в которых оно проблематично. Обсуждаются стандарты прозрачности для случаев их использования и обозначены перспективные направления исследований.

Литература:

  • Галкин К.А., Петухова И.С., Парфенова О.А. OPEN AI как помощник при анализе интервью // Социологические исследования. 2025. № 4. С. 105–116. DOI: https://doi.org/10.7868/S3034601025040095
  • Джибилова Е.Г., Побываев Н.С. Анализ российского и зарубежного опыта применения ChatGPT и искусственного интеллекта в политике и социальной сфере // Социально-гуманитарные знания. 2024. № 1. С. 64–69. EDN: WULNST
  • Незговорова М.И. Границы понимания синтетических респондентов: новый контур производства знаний, методологические риски и стандарты проверки данных // Социально-политические науки. 2026. Т. 16. № 1. С. 179–186. DOI: https://doi.org/10.33693/2223-0092-2026-16-1-179-186 EDN: LRYLSI
  • Пузанова Ж.В., Кожоридзе Г.Г., Кожоридзе Д.Г. ИИ и социология: анализ технологических возможностей виртуальных респондентов // Социология: методология, методы, математическое моделирование (Социология:4М). 2025. № 60. С. 216–246. DOI: https://doi.org/10.19181/4m.2025.34.1.6 EDN: PRPHTP
  • Рождественская Е.Ю. Биографический метод в социологии. М.: Изд. дом ВШЭ, 2012.
  • Рождественская Е.Ю. ИНТЕР-энциклопедия: нарративное интервью // Интеракция. Интервью. Интерпретация. 2020. Т. 12. № 4. С. 114–127. DOI: https://doi.org/10.19181/inter.2020.12.4.8
  • Семенова В.В. Качественные методы: введение в гуманистическую социологию. М.: Добросвет, 1998.
  • Филипова А.Г., Абросимова Е.Е., Зубова О.Г. Метод синтетических фокус-групп в контексте цифровой трансформации социологического исследования // Социодинамика. 2025. № 5. С. 1–17. DOI: https://doi.org/10.25136/2409-7144.2025.5.74430 EDN: EUMCKL
  • Argyle L.P., Busby E.C., Fulda N., Gubler J.R., Rytting C., Wingate D. (2023) Out of One, Many: Using Language Models to Simulate Human Samples. Political Analysis. Vol. 31. No. 3. P. 337–351. DOI: https://doi.org/10.1017/pan.2023.2
  • Bail C.A. (2024) Can Generative AI Improve Social Science? Proceedings of the National Academy of Sciences. Vol. 121. No. 21. DOI: https://doi.org/10.1073/pnas.2314021121
  • Barros C.F., Azevedo B.B., Graciano Neto V.V., Kassab M., Kalinowski M., do Nascimento H.A.D., Bandeira M.C.G.S.P. (2025) Large Language Model for Qualitative Research — A Systematic Mapping Study. arXiv. DOI: https://doi.org/10.48550/arXiv.2411.14473
  • Bender E.M., Gebru T., McMillan-Major A., Shmitchell S. (2021) On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? FAccT’21: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency. P. 610–623. DOI: https://doi.org/10.1145/3442188.3445922
  • Bisbee J., Clinton J. D., Dorff C., Kenkel B., Larson J.M. (2024) Synthetic Replacements for Human Survey Data? The Perils of Large Language Models. Political Analysis. Vol. 32. No. 4. P. 401–416. DOI: https://doi.org/10.1017/pan.2024.5
  • Braun V., Clarke V. (2019) Reflecting on Reflexive Thematic Analysis. Qualitative Research in Sport, Exercise and Health. Vol. 11. No. 4. P. 589–597. DOI: https://doi.org/10.1080/2159676X.2019.1628806
  • Davidson T., Karell D. (2025) Integrating Generative Artificial Intelligence into Social Science Research: Measurement, Prompting, and Simulation. Sociological Methods & Research. Vol. 54. No. 3. P. 775–793. DOI: https://doi.org/10.1177/00491241251339184
  • Fine G.A., Deegan J.G. (1996) Three Principles of Serendip: Insight, Chance, and Discovery in Qualitative Research. International Journal of Qualitative Studies in Education. Vol. 9. No. 4. P. 434–447. DOI: https://doi.org/10.1080/0951839960090405
  • Geertz C. (1973) The Interpretation of Cultures. New York: Basic Books.
  • Grossmann I., Feinberg M., Parker D.C., Christakis N.A., Tetlock P.E., Cunningham W.A. (2023) AI and the Transformation of Social Science Research. Science. Vol. 380. No. 6650. P. 1108–1109. DOI: https://doi.org/10.1126/science.adi1778
  • Kapania S., Agnew W., Eslami M., Heidari H., Fox S.E. (2025) Simulacrum of Stories: Examining Large Language Models as Qualitative Research Participants. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. New York: ACM. DOI: https://doi.org/10.1145/3706598.3713220
  • Kuric E., Demcak P., Krajcovic M. (2026) Synthetic Participants Generated by Large Language Models. A Systematic Literature Review. DOI: https://doi.org/10.21203/rs.3.rs-9057643/v1
  • Kvale S., Brinkmann S. (2009) InterViews: Learning the Craft of Qualitative Research Interviewing. 2nd ed. Thousand Oaks: Sage.
  • Lincoln Y.S., Guba E.G. (1985) Naturalistic Inquiry. Newbury Park: Sage.
  • Park P.S., Schoenegger P., Zhu C. (2024) Diminished Diversity-of-Thought in a Standard Large Language Model. Behavior Research Methods. Vol. 56. No. 6. P. 5754–5770. DOI: https://doi.org/10.3758/s13428-023-02307-x
  • Riessman C.K. (2008) Narrative Methods for the Human Sciences. Thousand Oaks: Sage.
  • Sarstedt M., Adler S.J., Rau L., Schmitt B. (2024) Using Large Language Models to Generate Silicon Samples in Consumer and Marketing Research: Challenges, Opportunities, and Guidelines. Psychology & Marketing. Vol. 41. P. 1254–1270. DOI: https://doi.org/10.1002/mar.21982
  • Schroeder H., Aubin Le Qu?r? M., Randazzo C., Mimno D., Schoenebeck S. (2025) Large Language Models in Qualitative Research: Uses, Tensions, and Intentions. Proceedings of the 2025 CHI Conference on Human Factors in Computing Systems. DOI: https://doi.org/10.1145/3706598.3713120
  • Shrestha P., Krpan D., Koaik F., Schnider R., Sayess D., Binbaz M.S. (2024) Beyond WEIRD: Can Synthetic Survey Participants Substitute for Humans in Global Policy Research? Behavioral Science & Policy. Vol. 10. No. 2. P. 26–45. DOI: https://doi.org/10.1177/23794607241311793
  • Zheng L., Chiang W.-L., Sheng Y., Zhuang S., Wu Z., Zhuang Y., Lin Z., Li Z., Li D., Xing E.P., Zhang H., Gonzalez J.E., Stoica I. (2023) Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. Advances in Neural Information Processing Systems. Vol. 36. P. 46595–46623. DOI: https://doi.org/10.5555/3666122.3668142

Содержание выпуска

>> Содержание выпуска 2026. Том. 18. № 2.
>> Архив журнала