캡슐보다 낫습니까?

새로운 논문 에서 Geoffrey Hinton이 이끄는 연구팀은 신경망 (변압기, 신경 장, 대조 표현 학습, 증류 및 캡슐)의 5 가지 발전의 강점을 결합하여이를 가능하게하는 비전 시스템 "Glom"의 아이디어를 상상합니다. 고정 아키텍처가있는 신경망을 사용하여 이미지를 각 이미지에 대해 서로 다른 구조를 가진 부분 전체 계층 구조로 구문 분석합니다.

심리적 증거는 인간이 시각 장면을 부분 전체 계층으로 구문 분석하고 부분과 전체 사이의 관점 불변 공간 관계를 모델링한다는 것을 보여줍니다. 신경망은 부분 전체 계층을 표현할 수있는 기능을 가지고 있지만 각 이미지가 다른 구문 분석 트리를 가지고 있고 신경망은 구문 분석 트리에서 노드를 표현하기 위해 신경망을 동적으로 할당 할 수 없기 때문에 그렇게 만드는 것은 어렵습니다. 대신 뉴런이하는 일은 연결에서 천천히 변화하는 가중치에 의해 결정됩니다.

"glom together"라는 속어에서 파생 된 GLOM은이 문제를 해결하고 정적 신경망이 동적 구문 분석 트리를 나타낼 수 있도록 제안되었습니다. 이 경우를 직관적 인 예로 들어 보겠습니다. 이미지의 한 패치에는 클래스 A와 B의 개체 일부가 포함되고 다른 패치에는 클래스 A와 C의 개체 일부가 포함됩니다.이 경우 기존 신경망은 이미지를 나타내지 못합니다. . 그러나 GLOM은 공간적 일관성을 발견하고 이러한 유형의 이미지의 부분 전체 계층을 나타낼 수 있습니다.

GLOM 아키텍처는 다수의 열로 구성되며 각 열은 여러 수준의 표현을 학습하는 공간적으로 로컬 자동 인코더의 스택입니다. 각 오토 인코더는 다중 계층 상향식 인코더와 다중 계층 하향식 디코더를 사용하여 임베딩을 한 레벨에서 인접 레벨로 변환합니다. 위치에 대한 임베딩 벡터는 부분 전체 계층 구조의 여러 수준에 해당합니다.

단일 열에 대해 제안 된 GLOM 아키텍처의 인접한 세 수준 간의 상향식, 하향식 및 동일한 수준 상호 작용

각 수준에는 일치하는 섬 (분석 트리를 나타냄)이 있습니다. 이 논문은 평균 4 개의 속성으로 한 위치에 레벨 L 임베딩을 제안합니다.

  • 이전 시간에 아래 수준에서 임베딩에 작용하는 상향식 신경망에 의해 생성 된 예측
  • 이전 시간에 위 수준에서 임베딩에 작용하는 하향식 신경망에 의해 생성 된 예측
  • 이전 시간 단계의 임베딩 벡터
  • 이전 시간에 근처 열에서 동일한 수준에있는 임베딩의주의 가중 평균
  • 6 개의 근처 열에서 특정 시간에 삽입 된 사진

마지막으로, 연구원들은 캡슐 모델, 트랜스포머 모델, 컨볼 루션 신경망 등과 같은 다른 신경망 모델과 비교하여 GLOM이 어떻게 뛰어난 지 분석하고 설명합니다.

소셜 미디어에 대한 반응은 신속했습니다. 초록의 면책 조항 인 "이 문서는 작동하는 시스템을 설명하지 않습니다."와 네덜란드 AI 기업가 Tarry Singh이 Hinton의 헌신에 박수를 보냅니다. "진정한 연구원 — 항상 Geoff를 좋아했습니다. ” 신문을 알리는 Hinton의 트윗은 단 몇 시간 만에 1,700 개 이상의 좋아요를 얻었습니다.

Hinton은 Vector Institute와 토론토 대학교 컴퓨터 과학과의 연구원들이 GLOM 프로젝트에 참여했습니다. 신경망에서 부분 전체 계층을 표현하는 방법 논문 은 arXiv에 있습니다.

저자 : 헤카테 헤 | 편집자 : Michael Sarazen

뉴스 나 연구 혁신을 놓치고 싶지 않다는 것을 알고 있습니다. 주간 AI 업데이트를 받으려면 인기있는 뉴스 레터 Synced Global AI Weekly구독하십시오 .

Suggested posts

더 이상 추측 할 필요 없음 — 초음파로 과일의 품질 감지

과일이 수확 할 준비가되었는지 알 수있는 독창적 인 방법

더 이상 추측 할 필요 없음 — 초음파로 과일의 품질 감지

곧 먹을 과일을 생각해보십시오. 준비가되었고 녹색이 아니라는 것을 어떻게 알 수 있습니까? 표면의 색으로 판단 할 수 있지만 수박이나 아보카도와 같은 과일에는 효과가 없습니다.

새로운 인프라 계획이 건설 혁신을 촉진하는 방법

새로운 인프라 계획이 건설 혁신을 촉진하는 방법

미국에 대해 들어 보셨을 수도 있습니다.