데이터를 '중독'시키는 도구인 Nightshade는 아티스트에게 AI에 맞서 싸울 기회를 제공합니다.
마치 '직장 냉장고에서 훔쳐가는 것을 방지하기 위해 점심에 핫소스를 넣는 것'과 같습니다.
의도적으로 다른 사람을 독살하는 것은 결코 도덕적으로 옳지 않습니다. 하지만 사무실에 있는 누군가가 계속해서 당신의 점심을 훔쳐간다면, 당신도 사소한 복수를 하게 되지 않겠습니까?
아티스트에게 동의 없이 AI 모델을 훈련하는 데 작품이 사용되지 않도록 보호하는 것은 힘든 싸움입니다. 옵트아웃 요청과 스크랩 방지 코드는 AI 회사에 의존하여 선의로 참여하지만 개인 정보 보호보다 이익을 추구하는 사람들은 이러한 조치를 쉽게 무시할 수 있습니다. 커미션 및 기타 작업 기회를 위해 소셜 미디어 노출에 의존하는 대부분의 아티스트에게는 오프라인에서 자신을 격리하는 것이 선택 사항이 아닙니다.
시카고 대학의 프로젝트인 Nightshade는 이미지 데이터를 "중독"하여 AI 모델 훈련을 쓸모없게 하거나 방해하도록 만들어 예술가들에게 어느 정도 의지할 수 있는 수단을 제공합니다. 이 프로젝트를 이끌었던 컴퓨터 과학 교수 Ben Zhao는 Nightshade를 "직장 냉장고에서 훔쳐가지 않도록 점심 식사에 매운 소스를 넣는 것"에 비유했습니다.
“우리는 말장난이 아닌 일반적으로 생성 모델이 단지 모델일 뿐이라는 사실을 보여주고 있습니다. Nightshade 자체는 이러한 회사를 죽이기 위한 최종적이고 매우 강력한 무기를 의미하지 않습니다.”라고 Zhao는 말했습니다. “Nightshade는 이러한 모델이 취약하고 공격할 수 있는 방법이 있음을 보여줍니다. 이는 콘텐츠 소유자가 의회에 글을 쓰거나 이메일이나 소셜 미디어를 통해 불만을 제기하는 것보다 더 어려운 수익을 제공할 수 있는 방법이 있다는 것을 의미합니다.”
Zhao와 그의 팀은 빅 AI를 무너뜨리려는 것이 아니라, 스크랩한 이미지로 AI 모델을 훈련시키는 대신 거대 기술 기업에 라이센스 작업에 대한 비용을 지불하도록 강요하려고 할 뿐입니다.
“이 일을 하는 올바른 방법이 있습니다.”라고 그는 계속 말했습니다. “여기서 진짜 문제는 동의와 보상에 관한 것입니다. 우리는 콘텐츠 제작자에게 승인되지 않은 교육을 거부할 수 있는 방법을 제공할 뿐입니다.”
왼쪽: 변경되지 않은 모나리자.
중간: Nightshade 이후의 모나리자.
오른쪽: AI가 모나리자의 음영처리된 버전을 "보는" 방법.
Nightshade
는 텍스트 프롬프트 간의 연관성을 표적으로 삼아 이미지의 픽셀을 미묘하게 변경하여 AI 모델을 속여 사람이 보는 것과 완전히 다른 이미지를 해석하도록 합니다. 모델은 "음영 처리된" 이미지의 기능을 잘못 분류하며, 충분한 양의 "중독된" 데이터에 대해 교육을 받은 경우 해당 프롬프트와 전혀 관련이 없는 이미지를 생성하기 시작합니다. Stable Diffusion 프롬프트를 손상시키는 데는 100개 미만의 "중독된" 샘플이 필요할 수 있다고 연구진은 현재 동료 검토 중인 기술 논문에 작성했습니다.
예를 들어, 초원에서 쉬고 있는 소의 그림을 생각해 보십시오.
Zhao는 TechCrunch에 "해당 연관성을 조작하고 효과적으로 왜곡함으로써 소가 4개의 둥근 바퀴와 범퍼 및 트렁크를 가지고 있다고 모델이 생각하도록 만들 수 있습니다"라고 말했습니다. "그리고 그들이 소를 생산하라는 메시지를 받으면 소 대신 대형 포드 트럭을 생산할 것입니다."
Nightshade 팀은 다른 사례도 제공했습니다. 모나리자의 변형되지 않은 이미지와 음영처리된 버전은 사실상 인간과 동일하지만, AI는 '독이 묻은' 샘플을 여성의 초상화로 해석하는 대신 가운을 입은 고양이로 '인식'합니다.
모델이 고양이를 볼 수 있도록 음영 처리된 이미지를 사용하여 훈련한 후 AI에게 개 이미지를 생성하도록 요청하면 두 동물과 전혀 닮지 않은 끔찍한 잡종을 생성합니다.
기술 문서에서는 이러한 효과가 관련 개념으로 확산된다고 지적했습니다. "판타지 아트" 프롬프트를 손상시킨 음영 처리된 샘플은 "드래곤"과 판타지 및 SF 커버 아트 전문 일러스트레이터인 "Michael Whelan" 프롬프트에도 영향을 미쳤습니다.
Zhao는 또한 AI 모델이 예술적 스타일을 '보고' 결정하는 방식을 왜곡하여 아티스트의 고유한 작업을 모방하는 것을 방지하는 클로킹 도구인 Glaze를 만든 팀을 이끌었습니다. Nightshade와 마찬가지로 사람은 "유약을 바른" 사실적인 목탄 초상화를 볼 수 있지만 AI 모델은 이를 추상 그림으로 인식한 다음 미세한 목탄 초상화를 생성하라는 메시지가 표시되면 지저분한 추상 그림을 생성합니다.
지난해 이 도구가 출시된 후 TechCrunch와의 인터뷰에서 Zhao는 Glaze를 방어 수단으로 사용되는 기술적 공격이라고 설명했습니다. Zhao는 최근 TechFaang에 Nightshade가 "노골적인 공격"은 아니지만 거부를 무시하는 약탈적인 AI 회사에 대해 여전히 공격을 가하고 있다고 말했습니다. 저작권법 위반 혐의로 집단 소송을 당하고 있는 회사 중 하나인 OpenAI는 이제 아티스트가 미래 모델 훈련에 사용되는 것을 거부할 수 있도록 허용합니다.
“이 [거부 요청]의 문제점은 가능한 가장 부드럽고 가장 부드러운 유형의 요청이라는 것입니다. 집행도 없고 어떤 회사도 약속을 지키지 않습니다.”라고 Zhao는 말했습니다. “레이더 아래로 날아가고 OpenAI보다 훨씬 작고 경계가 없는 회사가 많이 있습니다. 그들은 이러한 거부 목록을 준수할 이유가 전혀 없으며 여전히 귀하의 콘텐츠를 가져가고 원하는 것은 무엇이든 할 수 있습니다.”
Stability AI, Midjourney 및 DeviantArt를 상대로 한 집단 소송의 일부인 예술가 Kelly McKernan은 X에 음영 처리 및 윤기 나는 그림의 예를 게시했습니다. 이 그림은 픽셀화된 닮은꼴이 그녀를 빨아들이는 것처럼 네온 혈관에 얽힌 여성을 묘사합니다. McKernan은 "이것은 인간 창작자의 진정한 목소리를 잠식하는" 생성적 AI를 나타냅니다.
McKernan은 AI 이미지 생성기가 대중에게 출시되면서 2022년부터 자신의 그림과 눈에 띄게 유사한 과거 이미지를 스크롤하기 시작했습니다. 그들은 50개 이상의 작품이 스크랩되어 AI 모델을 훈련하는 데 사용되었다는 사실을 발견했을 때 더 많은 예술 작품을 만드는 데 대한 모든 관심을 잃었다고 TechCrunch에 말했습니다. 심지어 AI가 생성한 콘텐츠에서도 자신의 서명을 찾았습니다. Nightshade를 사용하는 것은 적절한 규제가 있을 때까지 보호 조치라고 그들은 말했습니다.
McKernan은 “바깥에 폭풍이 심한 것 같은데 아직 출근해야 해서 몸을 보호하고 투명한 우산을 써서 어디로 가는지 확인하려고 합니다.”라고 말했습니다. “편리하지 않고 폭풍을 멈출 수는 없지만 반대편이 어떤 모습이든 헤쳐 나가는 데 도움이 될 것입니다. 그리고 그것은 아무런 영향도 없이 그저 받아들이고 또 받아들이는 기업들에게 우리가 반격할 것이라는 메시지를 보냅니다.”
일러스트레이터 Christopher Bretz는 자신의 작품 중 하나에 대한 Nightshade의 효과를 시연하여 결과를 X에 게시했습니다. Nightshade의 가장 낮은 기본 설정을 통해 이미지를 실행하면 일러스트레이션에 거의 영향을 미치지 않았지만 높은 설정에서는 변경 사항이 분명했습니다.
Bretz는 TechCrunch에 “저는 일주일 내내 Nightshade를 실험해 왔으며 새로운 작업과 기존 온라인 포트폴리오의 대부분을 이를 통해 실행할 계획입니다.”라고 말했습니다. "나는 한동안 새로운 예술 작품을 선보이는 것을 자제해 온 많은 디지털 아티스트를 알고 있으며, 이 도구가 그들에게 다시 공유를 시작할 수 있는 자신감을 줄 수 있기를 바랍니다."
이상적으로 아티스트는 자신의 작품을 온라인으로 공유하기 전에 Glaze와 Nightshade를 모두 사용해야 한다고 팀은 블로그 게시물에 썼습니다. 팀은 여전히 Glaze와 Nightshade가 동일한 이미지에서 어떻게 상호 작용하는지 테스트하고 있으며 두 가지를 모두 수행하는 통합된 단일 도구를 출시할 계획입니다. 그동안 그들은 눈에 보이는 효과를 최소화하기 위해 먼저 Nightshade를 사용한 다음 Glaze를 사용할 것을 권장합니다. Nightshade는 예술가를 모방으로부터 보호하지 않기 때문에 팀은 유약 처리가 아닌 음영 처리만 한 작품을 게시하지 않을 것을 촉구합니다.
이미지의 메타데이터에 추가된 서명과 워터마크는 "깨지기 쉬우며" 이미지가 변경되면 제거될 수 있습니다. Nightshade의 변경 사항은 이미지를 구성하는 픽셀을 수정하기 때문에 자르기, 압축, 스크린샷 또는 편집을 통해 유지됩니다. 음영 처리된 이미지를 표시하는 화면 사진도 모델 훈련에 지장을 줄 수 있다고 Zhao는 말했습니다.
생성 모델이 더욱 정교해짐에 따라 아티스트는 자신의 작업을 보호하고 스크래핑에 맞서야 한다는 압박에 직면하게 되었습니다. Steg.AI와 Imatag는 인간의 눈에 감지할 수 없는 워터마크를 적용하여 제작자가 이미지에 대한 소유권을 확립하도록 돕습니다. 그러나 두 가지 모두 부도덕한 긁힘으로부터 사용자를 보호할 수는 없습니다. 작년에 출시된 "No AI" 워터마크 생성기는 미래 모델을 훈련하는 데 사용되는 데이터 세트가 AI 생성 이미지를 필터링하기를 희망하면서 인간이 만든 작업에 AI 생성으로 레이블을 지정하는 워터마크를 적용합니다. 스크레이퍼의 IP 주소를 식별하고 추적하는 Spawning.ai의 도구인 Kudurru도 있습니다. 웹사이트 소유자는 표시된 IP 주소를 차단하거나 가운데 손가락과 같은 다른 이미지를 다시 보내도록 선택할 수 있습니다.
이번 주에 출시된 또 다른 도구인 Kin.art는 다른 접근 방식을 취합니다. 이미지를 암호화하여 수정하는 Nightshade 및 기타 프로그램과 달리 Kin은 이미지의 일부를 가리고 메타태그를 교환하므로 모델 교육에 사용하기가 더 어렵습니다.
Nightshade를 비판하는 사람들은 이 프로그램이 "바이러스"라고 주장하거나 이를 사용하면 "오픈 소스 커뮤니티에 해를 끼칠 것"이라고 불평합니다. Nightshade가 출시되기 몇 달 전 Reddit에 게시된 스크린샷에서 Discord 사용자는 Nightshade를 "사이버 전쟁/테러"라고 비난했습니다. 실수로 X를 입소문으로 퍼뜨린 또 다른 Reddit 사용자는 Nightshade의 합법성에 의문을 제기하며 이를 "취약한 컴퓨터 시스템을 해킹하여 작동을 방해하는 것"과 비교했습니다.
OP가 언급한 것처럼 Nightshade가 생성 AI 모델의 "의도된 목적을 의도적으로 방해"하기 때문에 불법이라고 믿는 것은 터무니 없습니다. Zhao는 Nightshade가 완전히 합법적이라고 주장했습니다. Zhao는 “마법처럼 모델 훈련 파이프라인에 뛰어들어 모두를 죽이는 것이 아니다”라고 Zhao는 말했습니다. 모델 트레이너는 음영이 있거나 없는 이미지를 자발적으로 긁어내고 있으며 AI 회사는 이를 통해 이익을 얻고 있습니다.
Glaze와 Nightshade의 궁극적인 목표는 허가되지 않은 데이터에 대한 훈련 모델이 더 이상 유지될 수 없을 때까지 허가 없이 스크랩된 각 데이터 조각에 대해 "증분 가격"을 발생시키는 것입니다. 이상적으로 기업은 모델 교육을 위해 손상되지 않은 이미지에 라이선스를 부여하여 아티스트가 동의하고 작업에 대한 보상을 받을 수 있도록 해야 합니다.
이전에 완료된 적이 있습니다. Getty Images와 Nvidia는 최근 Getty의 광범위한 스톡 사진 라이브러리를 사용하여 완전히 훈련된 생성 AI 도구를 출시했습니다. 구독 고객은 생성하려는 사진 수에 따라 요금을 지불하고 모델을 훈련하는 데 작업이 사용된 사진 작가는 구독 수익의 일부를 받습니다. 지불금은 사진 작가의 콘텐츠가 훈련 세트에 얼마나 많이 기여했는지와 "시간 경과에 따른 해당 콘텐츠의 성능"에 따라 결정된다고 Wired는 보도했습니다.
Zhao는 자신이 반 AI가 아니라는 점을 분명히 밝히고 AI에는 윤리적으로 문제가 되지 않는 매우 유용한 응용 프로그램이 있다고 지적했습니다. 학계와 과학 연구의 세계에서 AI의 발전은 축하할 일입니다. AI에 대한 대부분의 마케팅 과대 광고와 패닉은 실제로 생성 AI를 의미하지만 전통적인 AI는 새로운 약물을 개발하고 기후 변화에 대처하는 데 사용되었다고 그는 말했습니다.
“이들 중 어느 것도 생성 AI가 필요하지 않습니다. 이 중 어느 것도 예쁜 그림이 필요하지 않고, 사실을 꾸며내거나, 사용자와 AI 사이에 사용자 인터페이스가 필요하지 않습니다.”라고 Zhao는 말했습니다. “가장 기본적인 AI 기술의 핵심 부품은 아닙니다. 그러나 이러한 것들이 사람들과 너무 쉽게 인터페이스되는 경우가 있습니다. Big Tech는 실제로 근본적이고 획기적인 기능과 놀라운 응용 프로그램을 갖춘 보다 과학적인 AI에 비해 수익을 창출하고 훨씬 더 많은 인구를 참여시킬 수 있는 쉬운 방법으로 이를 활용했습니다.”
학계의 자금과 자원을 압도하는 기술 분야의 주요 주체는 대부분 친 AI입니다. 그들은 파괴적이고 재정적 이득을 얻지 못하는 프로젝트에 자금을 지원할 인센티브가 없습니다. Zhao는 Glaze와 Nightshade를 통해 수익을 창출하거나 해당 프로젝트의 IP를 스타트업이나 기업에 판매하는 것을 강력히 반대합니다. McKernan과 같은 아티스트는 창작 산업에서 사용되는 소프트웨어 전반에 걸쳐 거의 보편적으로 발생하는 구독료를 면제받을 수 있다는 사실에 감사합니다.
McKernan은 “저를 포함한 예술가들은 모든 면에서 착취당하고 있다는 느낌을 받습니다.”라고 말했습니다. “그래서 자원으로 우리에게 무언가가 무료로 주어질 때 우리는 감사하다는 것을 압니다.'
Zhao, Ph.D 학생 Shawn Shan 및 여러 대학원생으로 구성된 Nightshade 팀은 대학, 전통 재단 및 정부 보조금의 자금을 지원 받았습니다. 그러나 연구를 지속하려면 팀이 "비영리 구조"를 파악하고 예술 재단과 협력해야 할 가능성이 높다는 점을 Zhao는 인정했습니다. 그는 팀이 아직 "몇 가지 트릭"을 더 갖고 있다고 덧붙였습니다.
“오랜 시간 동안 연구는 인간의 지식을 확장하는 연구를 위해 이루어져 왔습니다. 하지만 이런 것에는 윤리적 선이 있다고 생각합니다.”라고 Zhao는 말했습니다. “이 문제에 대한 연구가 중요합니다. 이에 가장 취약한 사람들은 가장 창의적인 경향이 있으며 자원 측면에서 지원이 가장 적은 경향이 있습니다. 그것은 공정한 싸움이 아닙니다. 그렇기 때문에 우리는 전장의 균형을 맞추기 위해 최선을 다하고 있습니다.”