в 2024 году 13,5% работ по биомедицине могли быть написаны с помощью ChatGPT и других ИИ
Чтобы измерить влияние больших языковых моделей на письменную речь, исследователи сравнили реальную частоту слов в 2024 году с прогнозируемыми значениями. Прогноз строился на данных за 2021-2022 годы – период до массового внедрения LLM. Сведения за 2023 год специалисты исключили из анализа, так как они уже могли отражать эффект от использования ИИ-чат-ботов. Среди всех 26 657 слов ученые обнаружили множество терминов с сильным избыточным использованием в 2024 году.
Среди маркеров LLM обозначились различные формы слов delves (копаться) с коэффициентом избыточной частоты (r) = 28, underscores (подчеркивать) с r = 13,8, showcasing (демонстрация) с r = 10,7. В группу также попали potential (потенциальный), findings (выводы), critical (критический). Использование таких слов-маркеров резко возросло в 2023-2024 годах. Для сравнения, коэффициент избыточной частоты слова ebola в 2015 году равнялся 9,9, а zika в 2017-ом – 40,4.
Соотношение частот и разрыв частот использования «избыточных» слов в 2022-2024 годах
Также ученые вручную отобрали 900 уникальных «избыточных» слов, которые отличались от стандартного словаря научных работ. Во время пандемии COVID-19 их корпус почти полностью состоял из содержательных слов (таких как «респираторный», «ремдесивир» и т. д.), тогда как избыточный словарный запас в 2024 году состоял почти полностью из стилистически окрашенных слов. «Содержательные» слова, которые отличаются от основного словаря, являются преимущественно существительными (79,2%), и, следовательно, большинство «избыточных» слов до 2024 года были тоже существительными. Напротив, из всех 379 избыточных стилевых слов в 2024 году 66% были глаголами, а 14% – прилагательными.
Подводя итог исследования, специалисты согласились с тем, что их коллеги часто используют LLM в работе, чтобы улучшить грамматику, риторику и общую читаемость своих текстов, а также помочь перевести публикации на английский язык и быстро создать резюме. Однако авторы исследования указали, что языковые модели часто «придумывают» фальшивые ссылки, формируют неточные выводы и делают ложные заявления, которые звучат авторитетно и убедительно. Хотя специалисты и могут замечать и исправлять фактические ошибки в собственных текстах, это становится сложнее, когда работа идет с обзором профессиональной литературы (и в других случаях).
Кроме того, LLM могут воспроизводить предвзятость и другие недостатки своих обучающих данных, а также создавать откровенный плагиат. Это делает тексты, сгенерированные ИИ, менее разнообразными и оригинальными по сравнению с написанными людьми. Подобная унификация может снижать качество научных публикаций: например, все выводы, созданные искусственным интеллектом на определенную тему, могут звучать одинаково, содержать одни и те же идеи и ссылки, что ограничивает появление новых концепций, а также усугубляет проблему неэтичного цитирования. Также авторы исследования опасаются, что недобросовестные участники научного процесса, такие как «фабрики статей», могут использовать языковые модели для массового производства фальшивых публикаций.
Авторы исследования отмечают, что их метод по поиску «избыточных» слов может помочь отслеживать будущее использование LLM в научных публикациях, заявках на гранты и других текстах. Также исследователи надеются, что их анализ может дать информацию для необходимых дебатов вокруг политики LLM, предоставив метод измерения использования больших языковых моделей.
Применение ИИ в сфере здравоохранения может нести и другие риски. Например, ученые из Университета Флиндерса (Австралия) обнаружили, что такие популярные чат-боты с использованием ИИ, как GPT-4o от OpenAI, Gemini 1.5 Pro от Google, Claude 3.5 Sonnet от Anthropic и Grok Beta от X, можно легко перенастроить на выдачу регулярных ложных ответов на медицинские вопросы. Авторы исследования смогли обучить LLM снабжать свои тексты поддельными цитатами из настоящих медицинских журналов и создавать видимость авторитетности. Эксперты предупредили, что без надлежащих защитных механизмов злоумышленники могут использовать такие возможности для массового производства медицинской дезинформации и ее распространения через интернет и соцсети.
Чтобы измерить влияние больших языковых моделей на письменную речь, исследователи сравнили реальную частоту слов в 2024 году с прогнозируемыми значениями. Прогноз строился на данных за 2021-2022 годы – период до массового внедрения LLM. Сведения за 2023 год специалисты исключили из анализа, так как они уже могли отражать эффект от использования ИИ-чат-ботов. Среди всех 26 657 слов ученые обнаружили множество терминов с сильным избыточным использованием в 2024 году.
Среди маркеров LLM обозначились различные формы слов delves (копаться) с коэффициентом избыточной частоты (r) = 28, underscores (подчеркивать) с r = 13,8, showcasing (демонстрация) с r = 10,7. В группу также попали potential (потенциальный), findings (выводы), critical (критический). Использование таких слов-маркеров резко возросло в 2023-2024 годах. Для сравнения, коэффициент избыточной частоты слова ebola в 2015 году равнялся 9,9, а zika в 2017-ом – 40,4.
Соотношение частот и разрыв частот использования «избыточных» слов в 2022-2024 годах
Также ученые вручную отобрали 900 уникальных «избыточных» слов, которые отличались от стандартного словаря научных работ. Во время пандемии COVID-19 их корпус почти полностью состоял из содержательных слов (таких как «респираторный», «ремдесивир» и т. д.), тогда как избыточный словарный запас в 2024 году состоял почти полностью из стилистически окрашенных слов. «Содержательные» слова, которые отличаются от основного словаря, являются преимущественно существительными (79,2%), и, следовательно, большинство «избыточных» слов до 2024 года были тоже существительными. Напротив, из всех 379 избыточных стилевых слов в 2024 году 66% были глаголами, а 14% – прилагательными.
Подводя итог исследования, специалисты согласились с тем, что их коллеги часто используют LLM в работе, чтобы улучшить грамматику, риторику и общую читаемость своих текстов, а также помочь перевести публикации на английский язык и быстро создать резюме. Однако авторы исследования указали, что языковые модели часто «придумывают» фальшивые ссылки, формируют неточные выводы и делают ложные заявления, которые звучат авторитетно и убедительно. Хотя специалисты и могут замечать и исправлять фактические ошибки в собственных текстах, это становится сложнее, когда работа идет с обзором профессиональной литературы (и в других случаях).
Кроме того, LLM могут воспроизводить предвзятость и другие недостатки своих обучающих данных, а также создавать откровенный плагиат. Это делает тексты, сгенерированные ИИ, менее разнообразными и оригинальными по сравнению с написанными людьми. Подобная унификация может снижать качество научных публикаций: например, все выводы, созданные искусственным интеллектом на определенную тему, могут звучать одинаково, содержать одни и те же идеи и ссылки, что ограничивает появление новых концепций, а также усугубляет проблему неэтичного цитирования. Также авторы исследования опасаются, что недобросовестные участники научного процесса, такие как «фабрики статей», могут использовать языковые модели для массового производства фальшивых публикаций.
Авторы исследования отмечают, что их метод по поиску «избыточных» слов может помочь отслеживать будущее использование LLM в научных публикациях, заявках на гранты и других текстах. Также исследователи надеются, что их анализ может дать информацию для необходимых дебатов вокруг политики LLM, предоставив метод измерения использования больших языковых моделей.
Применение ИИ в сфере здравоохранения может нести и другие риски. Например, ученые из Университета Флиндерса (Австралия) обнаружили, что такие популярные чат-боты с использованием ИИ, как GPT-4o от OpenAI, Gemini 1.5 Pro от Google, Claude 3.5 Sonnet от Anthropic и Grok Beta от X, можно легко перенастроить на выдачу регулярных ложных ответов на медицинские вопросы. Авторы исследования смогли обучить LLM снабжать свои тексты поддельными цитатами из настоящих медицинских журналов и создавать видимость авторитетности. Эксперты предупредили, что без надлежащих защитных механизмов злоумышленники могут использовать такие возможности для массового производства медицинской дезинформации и ее распространения через интернет и соцсети.
