ai-method

ChatGPT로 UI/UX 디자이너 업무 생산성 향상시키기

카스테라; — Fri, 16 Jun 2023 16:18:03 +0900

ChatGPT를 활용해 디자인 업무의 효율성과 창의성을 높이는 방법을 알아보겠습니다. 아래의 글을 참고해 ChatGPT에게 질문을 던져 보았습니다.

https://uxplanet.org/ultimate-chatgpt-cheatsheet-for-ux-ui-designers-63c813fc859a

ChatGPT로 UI 디자인 체크리스트 생성하기

UI 디자인 체크리스트 생성은 디자이너가 필요한 모든 디자인 요소를 고려할 수 있도록 도와주는 유용한 도구입니다.

ChatGPT를 사용하면 디자이너는 사용자 흐름, 접근성, 색 구성표, 타이포그래피, 일관성 및 사용성과 같은 필수 요소를 다루는 포괄적인 체크리스트를 쉽게 생성할 수 있습니다.

아래의 질문으로 GPT-3.5에게 질문해 보겠습니다.

Create a checklist for UI elements for a perfect [Screen / feature] in a table

GPT-4에게도 동일하게 질문을 던져 보았더니 테이블의 구조, 칼럼, 내용에 대한 조언 등, 테이블을 완벽한 UI로 생성하는 방법을 가이드해 주려고 해서 질문을 변경했습니다.

in a table 대신 in a table format으로 적어 달라고 하니 자세하게 설명해 주었고 모범사례까지 알려 주었습니다.

한국어로 확인해 보면 아래와 같습니다.

UX 디자인을 위한 사용자 흐름 만들기

최신 제품을 막 출시했는데, 기대했던 만큼의 참여를 얻지 못하고 있다면 어떻게 해야 할까요? 사용자가 왜 계속 사용하지 않는지 궁금할 때가 바로 사용자 흐름을 만들어야 할 때입니다.

사용자 흐름은 사용자가 제품과 상호 작용하는 방식에 대한 수수께끼를 풀고, 문제점을 파악하여 궁극적으로 전반적인 사용자 경험을 개선하는 데 도움이 되는 핵심 요소입니다.

사용자의 여정을 매핑하면 사용자의 목표, 행동, 잠재적인 장애물에 대한 인사이트를 얻을 수 있습니다. Chat GPT를 사용하는 방법은 쉽습니다. 바로, 자신의 제품을 설명하고 이에 대한 사용자 흐름을 만들어 달라고 하면 됩니다.

저는 게이머용 원격 모니터링 앱을 만들고 있어서, 이에 대한 사용자 흐름을 만들어 달라고 질문해 보았습니다.

앞 부분에서는 앱 실행 > 로그인 등에 대한 기본적인 정보였는데, 아래쪽에 커뮤니티/소셜 통합 등은 앞으로의 방향성에도 도움을 주는 정보를 제시해 주었습니다.

ChatGPT를 사용하여 사용자 페르소나 구축하기

ChatGPT로 사용자 페르소나를 구축하여 효과적인 마케팅 캠페인을 만들고 잠재고객을 더 잘 이해할 수 있습니다. 인구 통계, 행동, 동기에 대한 귀중한 인사이트를 얻을 수 있습니다.

저도 목표와 동기 중 다른 게이머와 연결되고 경험을 공유하고자 하는 욕구와 게임 플랫폼의 통합이 부족하다는 점에서 제 앱과 관련된 좋은 인사이트를 얻었습니다.

ChatGPT를 사용하여 웹사이트 문구 작성하기(UX 라이팅)

웹사이트 카피를 작성하는 것은 정말 어려운 일입니다. 잠재 고객의 참여를 유도해야 하는데 시간이 많이 걸리고 결과도 맘에 안 들기 쉽기 때문입니다.

ChatGPT의 AI 기반 기능을 사용하면 브랜드에 잘 부합하고 타깃 고객과 소통할 수 있는 고품질의 개인화된 콘텐츠를 생성할 수 있습니다.

ChatGPT를 사용하고 있으면 어떤 작업을 하든 정말 똑똑하고 부지런한 어시스턴트와 함께 하고 있는 느낌을 받습니다. 또한, 내가 원하는 바에 대해서도 더 많이 탐색하고 좋은 질문을 하려고 노력하게 합니다.

파인콘, 허깅페이스로 시맨틱 검색 만들기

알 수 없는 사용자 — Thu, 8 Jun 2023 19:30:28 +0900

시맨틱 검색이란

시맨틱 검색(semantic search)란 사용자가 검색을 하려는 의도를 파악하고, 문서에 나타난 용어의 문맥을 이해해 사용자가 원하는 것과 더 관련성 높은 결과를 생성하는 것을 말합니다. 한국에서는 2009년에 네이트에서 '시맨틱 검색'이라는 이름으로 검색 서비스에 도입했으며, 2013년에 서비스를 중단했습니다. 그래서 네이트를 사용해 본 사람들이라면 시맨틱 검색이라는 용어에 친숙할 것입니다. 아래는 위키피디아의 시맨틱 검색에 대한 설명입니다.

시맨틱 검색은 검색 엔진이 쿼리의 전체 의미를 이해하지 않고 쿼리 단어 또는 그 변형의 리터럴 일치를 찾는 어휘 검색과 구별되는 의미 검색을 나타냅니다. 시맨틱 검색은 검색자의 의도와 검색 가능한 데이터 공간에 나타나는 용어의 문맥적 의미를 이해함으로써 검색 정확도를 향상하고 더 관련성 높은 결과를 생성합니다. 시맨틱 검색에서 순위가 좋은 콘텐츠는 자연스러운 음성으로 잘 작성되고, 사용자의 의도에 집중하며, 사용자가 향후 찾을 수 있는 관련 주제를 고려한 것입니다.

이 글에서는 파인콘의 semantic search를 참고해 시맨틱 검색을 Colab을 활용해 만들어봅니다.

데이터 전처리

파인콘에서 사용할 수 있는 데이터 세트를 준비하는 과정은 아래와 같은 단계를 거칩니다.

1. 허깅페이스(Huggingface) 데이터 세트에서 쿼라(Quora) 데이터 세트를 다운로드합니다.

2. 데이터 세트의 텍스트 콘텐츠를 벡터에 포함합니다.

3. 파인콘에 추가할 수 있는 구조로 변형합니다.

먼저 쿼라의 데이터 세트를 다운로드합니다.

from datasets import load_dataset

dataset = load_dataset('quora', split='train[240000:320000]')
dataset

WARNING:datasets.builder:Found cached dataset quora (/root/.cache/huggingface/datasets/quora/default/0.0.0/36ba4cd42107f051a158016f1bea6ae3f4685c5df843529108a54e42d86c1e04)





Dataset({
    features: ['questions', 'is_duplicate'],
    num_rows: 80000
})

데이터 세트에는 쿼라의 자연어 질문 쌍이 400,000개 이상이 포함되어 있습니다. 데이터 세트 일부를 출력해서 데이터 형태를 확인합니다.

dataset[:5]

{'questions': [{'id': [207550, 351729],
   'text': ['What is the truth of life?', "What's the evil truth of life?"]},
  {'id': [33183, 351730],
   'text': ['Which is the best smartphone under 20K in India?',
    'Which is the best smartphone with in 20k in India?']},
  {'id': [351731, 351732],
   'text': ['Steps taken by Canadian government to improve literacy rate?',
    'Can I send homemade herbal hair oil from India to US via postal or private courier services?']},
  {'id': [37799, 94186],
   'text': ['What is a good way to lose 30 pounds in 2 months?',
    'What can I do to lose 30 pounds in 2 months?']},
  {'id': [351733, 351734],
   'text': ['Which of the following most accurately describes the translation of the graph y = (x+3)^2 -2 to the graph of y = (x -2)^2 +2?',
    'How do you graph x + 2y = -2?']}],
 'is_duplicate': [False, True, False, True, False]}

is_duplicated 키를 보면 질문이 중복되는지 여부를 확인할 수 있습니다. 사실, 질문의 중복 여부는 중요하지 않습니다. 텍스트만 필요하기 때문에, 텍스트만 추출해서 questions 리스트에 담습니다.

questions = []

for record in dataset['questions']:
    questions.extend(record['text'])
  
# remove duplicates
questions = list(set(questions))
print('\n'.join(questions[:5]))
print(len(questions))

Does outer space ever stop?
Why is Eunuch and Son of Bitch more worried than emperor at ASEAM meeting in Laos?
How do I apply for Google's Digital Marketing Course?
How is the word 'species' used in a sentence?
What will happen if a 10'x10'x8" concrete slab was thrown at your whole body at say 43 mph?
136057

질문이 준비되었으니 이제 임베딩을 진행하고 업서트(upsert)를 할 수 있는 형태로 만듭니다.

임베딩 및 업서트 형식 구축

임베딩을 생성하기 위해서 MiniLM-L6 문장 변환기 모델을 사용합니다. 이 모델은 꽤 효율적인 시맨틱 유사도 임베딩 모델로 sentence-transformers 라이브러리를 통해서 사용할 수 있습니다. 아래 코드로 모델을 초기화합니다.

from sentence_transformers import SentenceTransformer
import torch

device = 'cuda' if torch.cuda.is_available() else 'cpu'
if device != 'cuda':
    print(f"You are using {device}. This is much slower than using "
          "a CUDA-enabled GPU. If on Colab you can change this by "
          "clicking Runtime > Change runtime type > GPU.")

model = SentenceTransformer('all-MiniLM-L6-v2', device=device)
model

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
  (2): Normalize()
)

모델을 프린트했을 때 3 가지 요소에 대해 살펴봅니다.

max_seq_length가 256입니다. 싱글 벡터 임베딩에 인코딩 될 수 있는 토큰의 최대 개수가 256개라는 뜻입니다. 256개를 넘으면 잘리게 됩니다.
word_embeddings_dimension은 이 모델의 벡터 차원이 384이라는 뜻입니다. 나중에 파인콘 벡터 인덱스를 초기화하는데 이 word_embeddings_dimension 값이 필요합니다.
Normalize()는 모델이 생성한 모든 벡터가 정규화됐다는 것을 의미합니다. 이제 코사인 유사도를 사용해 유사도를 측정하는 모델도 스칼라곱을 사용할 수 있습니다. 사실, 정규화된 벡터 코사인과 스칼라곱은 동일합니다.

이제 문장 임베딩을 아래와 같이 생성할 수 있습니다.

query = 'which city is the most populated in the world?'

xq = model.encode(query)
xq.shape

문장을 임베딩 하면, 384차원으로 임베딩이 됩니다.(word_embeddings_dimension과 같은 값입니다.)

이제 파인콘에 업서트할 수 있도록 준비합니다.

_id = '0'
metadata = {'text': query}

vectors = [(_id, xq, metadata)]

파인콘에 데이터를 업서트 할 때는 배치 단위로 진행할 것이므로, 벡터는 (id, embedding, metadata) 튜플을 담은 리스트 형태여야 합니다.

인덱스 생성

이제 인덱스를 설정해 데이터를 저장합니다. 먼저 파인콘 연결을 초기화합니다.

import os
import pinecone

# get api key from app.pinecone.io
PINECONE_API_KEY = os.environ.get('PINECONE_API_KEY') or 'PINECONE_API_KEY'
# find your environment next to the api key in pinecone console
PINECONE_ENV = os.environ.get('PINECONE_ENVIRONMENT') or 'PINECONE_ENVIRONMENT'

pinecone.init(
    api_key=PINECONE_API_KEY,
    environment=PINECONE_ENV
)

semantic-search이라는 이름의 새 인덱스를 생성합니다.

index_name = 'semantic-search'

# only create index if it doesn't exist
if index_name not in pinecone.list_indexes():
    pinecone.create_index(
        name=index_name,
        dimension=model.get_sentence_embedding_dimension(),
        metric='cosine'
    )

# now connect to the index
index = pinecone.GRPCIndex(index_name)

파인콘에서 생성된 인덱스를 확인할 수 있습니다. 인덱스 이름은 코드에서 지정한 데로 semantic-search이며, metric은 cosine을 사용하는 것을 확인할 수 있습니다.

파인콘에 생성된 새 인덱스

지금은 인덱스만 생성하고 데이터를 업서트(upsert)하지 않아서 Total Vectors가 0입니다. 이제 데이터를 업서트합니다.

from tqdm.auto import tqdm

batch_size = 128

for i in tqdm(range(0, len(questions), batch_size)):
    # find end of batch
    i_end = min(i+batch_size, len(questions))
    # create IDs batch
    ids = [str(x) for x in range(i, i_end)]
    # create metadata batch
    metadatas = [{'text': text} for text in questions[i:i_end]]
    # create embeddings
    xc = model.encode(questions[i:i_end])
    # create records list for upsert
    records = zip(ids, xc, metadatas)
    # upsert to Pinecone
    index.upsert(vectors=records)

# check number of records in the index
index.describe_index_stats()

  0%|          | 0/1063 [00:00<?, ?it/s]





{'dimension': 384,
 'index_fullness': 0.1,
 'namespaces': {'': {'vector_count': 136057}},
 'total_vector_count': 136057}

이제 파인콘 인덱스 페이지 페이지에서 업서트된 벡터 수를 확인할 수 있습니다.

벡터를 업서트한 파인콘 인덱스

매트릭 탭에서는 시간에 따른 벡터 수 변화도 확인할 수 있습니다.

파인콘 인덱스의 벡터 수 변화 그래프

쿼리 만들기

인덱스가 벡터로 채워졌습니다. 이제 질문을 보내서 시맨틱 검색을 할 수 있습니다. 아래의 예제를 보내 시맨틱 검색을 테스트해 봅니다.

query = "which city has the highest population in the world?"

# create the query vector
xq = model.encode(query).tolist()

# now query
xc = index.query(xq, top_k=5, include_metadata=True)
xc

{'matches': [{'id': '31072',
              'metadata': {'text': 'What country has the biggest population?'},
              'score': 0.7655585,
              'sparse_values': {'indices': [], 'values': []},
              'values': []},
             {'id': '23769',
              'metadata': {'text': 'What is the biggest city?'},
              'score': 0.7271395,
              'sparse_values': {'indices': [], 'values': []},
              'values': []},
             {'id': '65783',
              'metadata': {'text': 'What is the most isolated city in the '
                                   'world, with over a million metro area '
                                   'inhabitants?'},
              'score': 0.7020447,
              'sparse_values': {'indices': [], 'values': []},
              'values': []},
             {'id': '104484',
              'metadata': {'text': 'Which is the most beautiful city in '
                                   'world?'},
              'score': 0.69991666,
              'sparse_values': {'indices': [], 'values': []},
              'values': []},
             {'id': '79997',
              'metadata': {'text': 'Where is the most beautiful city in the '
                                   'world?'},
              'score': 0.69605494,
              'sparse_values': {'indices': [], 'values': []},
              'values': []}],
 'namespace': ''}

파인콘을 무료로 사용하고 있다면 인덱스는 1개만 저장할 수 있습니다. 아래 코드로 이번 예제에 사용한 인덱스를 삭제합니다.

pinecone.delete_index(index_name)

참고

https://www.hani.co.kr/arti/economy/it/379044.html

네이트에 의미기반 ‘시맨틱 검색’ 뜬다

SK커뮤니케이션즈의 네이트가 의미 기반 검색인 '시맨틱 검색'으로 검색시장에서 승부수를 던진다. 시맨틱 검색은 단어나 문...

www.hani.co.kr

https://en.wikipedia.org/wiki/Semantic_search

Semantic search - Wikipedia

From Wikipedia, the free encyclopedia Contextual queries Semantic search denotes search with meaning, as distinguished from lexical search where the search engine looks for literal matches of the query words or variants of them, without understanding the o

en.wikipedia.org

SEO를 위한 ChatGPT 3가지 사용 사례

알 수 없는 사용자 — Mon, 5 Jun 2023 18:00:15 +0900

디지털 마케팅, 특히 SEO 작업은 ChatGPT를 활용한다면 기존보다 더 빠르고 효율적으로 SEO 작업을 할 수 있습니다. 아래는 SEO에 작업에 ChatGPT를 활용할 수 있는 작업 3가지입니다.

robots.txt 생성하기

ChatGPT를 사용해서 robots.txt를 작성할 수 있습니다. 대부분의 웹사이트는 기본적으로 가입, 로그인, 로그아웃, 비밀번호 변경 페이지가 크롤링이 되지 않도록 robots.txt를 작성해야 합니다.

프롬프트

ChatGPT 응답

User-agent: *
Disallow: /register
Disallow: /login
Disallow: /logout
Disallow: /password

특정 크롤러가 특정 디렉터리에 액세스 하지 못하도록 방지하고 싶을 수 도 있습니다. 이럴 때는 이러한 규칙을 가진 robots.txt를 작성해 달라고 ChatGPT에게 부탁할 수 있습니다. 아래는 robots.txt 작업을 요청하는 프롬프트입니다.

프롬프트

Bing이 /assets/ 디렉터리를 크롤링하는 것을 차단하지만 /assets/javascript/ 디렉터리를 크롤링하는 것을 허용하는 robots.txt 파일을 만듭니다.

ChatGPT 응답

User-agent: Bingbot
Disallow: /assets/
Allow: /assets/javascript/

메타 태그 생성하기

메타 태그는 웹페이지의 정보를 명시하기 위한 목적으로 사용하는 HTML 태그입니다. 메타 태그는 <meta> 태그를 사용하며 HTML 문서에서 <head> 태그 아래 배치합니다. 메타 태그를 잘 작성한다면 SEO에 좀 더 유리해질 수 있습니다. 사실, 메타 태그 작성을 도와주는 도구는 이미 마켓에 많이 나와있습니다. SEO 메타 태그 생성기를 활용할 수 도 있지만, ChatGPT를 사용하는 것도 가능합니다.

프롬프트

페이지의 색인을 생성하고 링크를 따라갈 수 있지만 텍스트 스니펫의 문자 수를 46자로 제한하는 로봇의 메타 태그를 만듭니다.

ChatGPT 응답

<meta name="robots" content="index, follow">
<meta name="googlebot" content="index, follow">
<meta name="bingbot" content="index, follow">
<meta name="description" content="max-snippet:-1, max-image-preview:large, max-video-preview:-1">

리다이렉션을 위한 .htaccess 재작성 규칙 생성하기

아파치 웹 서버에서 .htaccess 파일을 사용하고 있다면, .htaccess 작성을 할 때 ChatGPT의 도움을 받을 수 있습니다. .htaccess는 대소문자를 구분하고, 오류가 있을 경우에는 사이트 전체에 영향을 줍니다. .htaccess 작성은 이렇듯 상당히 까다로운 작업이기 때문에 ChatGPT에게 작성을 요청하는 것이 더 좋을 수 도 있습니다.

프롬프트

301 리디렉션을 사용하여 /about.html을 /about-us/로 리디렉션하는 htaccess 재작성 규칙을 만듭니다.

ChatGPT 응답

RewriteEngine On
RewriteRule ^about\.html$ /about-us/ [R=301,L]

ChatGPT를 사용해서 SEO 작업을 하는 방법에 대해서 알아보았습니다. 이 외에도 여러 가지 작업에 ChatGPT의 도움을 받을 수 있기 때문에, SEO 작업은 이전보다 더 빠르게 진행할 수 있습니다. 그러나 한 가지 주의할 점은 ChatGPT의 출력이 맞는지 확인하는 과정이 반드시 필요하다는 점입니다.

참고

https://hallanalysis.com/5-powerful-chatgpt-prompts-for-technical-seo/

5 Powerful ChatGPT Prompts for Technical SEO - Hall Analysis

During the last several months of 2022 most of the internet has been captivated by a new artificial intelligence software called ChatGPT. While the

hallanalysis.com

표 질의 응답(Table Question Answering)을 파인콘(Pinecone), 랭체인(Langchain)으로 만들기

알 수 없는 사용자 — Fri, 2 Jun 2023 08:00:20 +0900

표 질의응답 모델(Table Question Answering)을 파인콘(Pinecone)과 랭체인(Langchain)을 사용해서 간단하게 만들어볼 수 있습니다. 이 글에서는 파인콘에서 제공하는 Colab을 참고해서 표 질의 응답을 만들어보겠습니다. 먼저, '표 질의응답 모델', '질의응답 모델'이 무엇인지 알아보도록 하겠습니다.

질의응답 모델

질의응답(Question Answering) 모델이란, 문서 또는 자연어 텍스트를 기반으로 주어진 질문에 대한 대답을 생성하는 모델입니다. 질의응답을 하려면 모델은 텍스트를 이해하고 사실에 대한 추론 능력이 있어야 하기 때문에 다소 까다롭지만, 자주 묻는 질문에 대한 응답을 자동화할 수 있다는 편리함이 있어 이미 다양한 분야에서 많이 사용되고 있습니다. 질의응답 모델을 가장 접하기 쉬운 기능은 서비스의 고객 문의 챗봇이나 문서 검색입니다.

질의응답 모델의 종류

질의응답은 입력 및 출력에 따라 다양한 종류가 있으며, 도메인을 기준으로 분류하기도 합니다.

입력 및 출력에 따른 종류

Extract QA: 모델이 콘텍스트로 제공된 텍스트 또는 HTML에서 답변을 추출합니다. 일반적으로 BERT 모델을 사용합니다.
Open Generative QA: 모델이 콘텍스트를 기반으로 직접 텍스트를 생성합니다.
Closed Generative QA: 모델에게 콘텍스트를 제공하지 않고, 모델이 처음부터 끝까지 텍스트를 생성합니다.

도메인에 따른 분류

오픈 도메인(Open domain): 질문, 답변이 특정 도메인(예: 법률, 의료)으로 제한되지 않음
클로즈 도메인(Closed domain): 질문, 답변이 특정 도메인으로 제한됨

표 질의 응답(Table Question Answering) 모델은 표 형태로 주어진 문서를 기반으로 질문에 대한 답변을 생성하는 모델입니다. 아래에서 표 질의응답 모델에 대해서 더 자세하게 알아보겠습니다.

표 질의 응답 모델

표 질의 응답(Table Question-Answering) 모델은 질의응답 모델과 마찬가지로 질문에 대한 답변을 생성하는 모델입니다. 모델에게 줄 콘텍스트는 표 형태로 제공해야 합니다. 아래는 표 질의응답 모델을 간략하게 설명하는 예시입니다.

예를 들어, 아래와 같은 표를 모델에게 제공합니다.

이름	출연작
이경영	35
오달수	23
조진웅	19

모델에게 '출연작이 가장 많은 배우가 누구인지 알려줘' 라고 질문한다면 모델은 출연작이 35편인 이경영을 답변으로 생성합니다.

표 질의 응답질의응답 모델은 다른 질의응답 모델과 자연어를 인식하고 처리하는 과정은 동일합니다. 그러나 표 질의응답 모델이 답변할 수 있는 내용은 주어진 표로 한정됩니다. 대체로 질문이 제한된 범위로 한정될 때 유용하게 사용할 수 있기 때문에, 고객 문의 챗봇에 많이 활용되고 있습니다.

표 질의 응답 모델을 활용해서 시스템을 만들려면, 아래와 같은 세 가지 요소가 필요합니다.

테이블 임베딩을 저장할 벡터 인텍스
임베딩 쿼리와 테이블을 검색하는 검색(retriever) 모델
테이블을 읽고 답변을 추출하는 리더(reader) 모델

파인콘, 랭체인으로 표 질의응답 만들기

이제 파인콘에서 제공하는 Colab을 참고해서 표 질의 응답을 만들어보겠습니다. Colab 사용이 처음이라면 Google Colab 질문과 답변을 참고합니다.

라이브러리 설치

!pip install datasets pinecone-client sentence_transformers torch-scatter

아래는 각 라이브러리에 대한 설명입니다.

datasets: ML 모델을 학습하고 평가하는데 사용할 수 있는 공용 데이터 세트를 제공하는 라이브러리입니다.
pinecone-client: 파인콘 파이선 클라이언트입니다.
sentence_transformers: 문장, 단락, 이미지에 대한 고밀더 벡터 표현을 쉽게 계산하는 방법을 제공하며 BERT/RoBERTa/XLM-RoBERTa등과 같은 트랜스포머를 기반으로 하는 프레임워크입니다.
torch-scatter: 파이토치에서 사용하기에 최적화된 sparse update(scatter and segment) 연산의 확장 라이브러리들로 구성되어 있습니다.

데이터 세트 로드하기

위키피디아의 텍스트와 표로 구성된 OTT-QA (Open Table-and-Text Question Answering) 데이터 세트의 하위 세트로 작업할 것입니다. 하위 세트에는 20,000개의 테이블이 있으며, 아래와 같이 Huggingface Datasets 허브에서 로드할 수 있습니다.

from datasets import load_dataset

# load the dataset from huggingface datasets hub
data = load_dataset("ashraq/ott-qa-20k", split="train")
data

Dataset({
    features: ['url', 'title', 'header', 'data', 'section_title', 'section_text', 'uid', 'intro'],
    num_rows: 20000
})

data[2]

{'url': 'https://en.wikipedia.org/wiki/1976_New_York_Mets_season',
 'title': '1976 New York Mets season',
 'header': ['Level', 'Team', 'League', 'Manager'],
 'data': [['AAA', 'Tidewater Tides', 'International League', 'Tom Burgess'],
  ['AA', 'Jackson Mets', 'Texas League', 'John Antonelli'],
  ['A', 'Lynchburg Mets', 'Carolina League', 'Jack Aker'],
  ['A', 'Wausau Mets', 'Midwest League', 'Bill Monbouquette'],
  ['Rookie', 'Marion Mets', 'Appalachian League', 'Al Jackson']],
 'section_title': 'Farm system',
 'section_text': 'See also : Minor League Baseball',
 'uid': '1976_New_York_Mets_season_7',
 'intro': 'The New York Mets season was the 15th regular season for the Mets, who played home games at Shea Stadium. Led by manager Joe Frazier, the team had an 86-76 record and finished in third place in the National League East.'}

테이터 세트에는 서로 관련있는 텍스트와 표가 있습니다. 이 예제에서는 표만 사용할 것 이기 때문에, 표를 추출해서 pandas 데이터 프레임으로 변환합니다.

import pandas as pd

# store all tables in the tables list
tables = []
# loop through the dataset and convert tabular data to pandas dataframes
for doc in data:
    table = pd.DataFrame(doc["data"], columns=doc["header"])
    tables.append(table)

tables[2]

	Level	Team	League	Manager
0	AAA	Tidewater Tides	International League	Tom Burgess
1	AA	Jackson Mets	Texas League	John Antonelli
2	A	Lynchburg Mets	Carolina League	Jack Aker
3	A	Wausau Mets	Midwest League	Bill Monbouquette
4	Rookie	Marion Mets	Appalachian League	Al Jackson

검색기(Retriever) 초기화

검색기는 자연어 쿼리와 표 형식 데이터를 임베딩/벡터로 변환합니다. 자연어 질문과, 질문에 대한 답변이 포함된 표가 벡터 공간 가까운 곳에 위치하도록 임베딩을 생성합니다.

검색 작업을 위해서 표 형식 데이터를 포함하도록 훈련한 Sentence Transformer 모델을 사용할 것입니다. 아래와 같이 Huggingface Models 허브에서 모델을 로드합니다.

import torch
from sentence_transformers import SentenceTransformer

# set device to GPU if available
device = 'cuda' if torch.cuda.is_available() else 'cpu'
# load the table embedding model from huggingface models hub
retriever = SentenceTransformer("deepset/all-mpnet-base-v2-table", device=device)
retriever

SentenceTransformer(
  (0): Transformer({'max_seq_length': 384, 'do_lower_case': False}) with Transformer model: MPNetModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False})
  (2): Normalize()
)

표를 특정 형식으로 변환하는 함수를 작성합니다.

def _preprocess_tables(tables: list):
    processed = []
    # loop through all tables
    for table in tables:
        # convert the table to csv and 
        processed_table = "\n".join([table.to_csv(index=False)])
        # add the processed table to processed list
        processed.append(processed_table)
    return processed

여기에는 표만 사용하고 있습니다. 그러나 표를 검색하는 동안, 검색기가 메타데이터를 고려하도록 하려면 표의 시작 부분에서 줄 바꿈 문자로 구분된 title, section_title 등과 같은 모든 메타데이터 문자열을 조인할 수 있습니다.

서식이 지정된 표를 살펴봅니다.

# format all the dataframes in the tables list
processed_tables = _preprocess_tables(tables)
# display the formatted table
processed_tables[2]

'Level,Team,League,Manager\nAAA,Tidewater Tides,International League,Tom Burgess\nAA,Jackson Mets,Texas League,John Antonelli\nA,Lynchburg Mets,Carolina League,Jack Aker\nA,Wausau Mets,Midwest League,Bill Monbouquette\nRookie,Marion Mets,Appalachian League,Al Jackson\n'

임베딩 모델이 형식이 지정된 표를 이해하고 정확하게 임베딩을 생성하도록 훈련됩니다.

파인콘 인덱스 초기화

여기서는 파인콘 벡터 데이터베이스를 벡터 인덱스로 사용합니다. 파인콘 인덱스는 자연어 쿼리(쿼리 벡터)를 사용해 검색할 수 있는 표의 벡터 표현을 저장합니다. 파인콘은 쿼리 벡터와 벡터 인덱스에 저장된 포함된 표 간의 유사성을 계산합니다.

파인콘을 사용하려면 먼저 파인콘과 연결을 초기화해야 합니다. 파인콘에서 무료 API 키를 발급받아, 아래와 같이 초기화합니다.

import pinecone

# connect to pinecone environment
pinecone.init(
    api_key="YOUR API KEY",
    environment="YOUR_ENVIRONMENT"
)

새로운 인덱스를 생성합니다. 콘텍스트 임베딩을 생성하는 데 사용하는 검색기가 768차원 벡터를 출력하기 때문에, 메트릭 유형을 '코사인'으로 지정하고 차원을 768로 지정합니다. 파인콘은 코사인 유사성을 사용해 쿼리와 테이블 임베딩 간의 유사성을 계산합니다.

# you can choose any name for the index
index_name = "table-qa"

# check if the table-qa index exists
if index_name not in pinecone.list_indexes():
    # create the index if it does not exist
    pinecone.create_index(
        index_name,
        dimension=768,
        metric="cosine"
    )

# connect to table-qa index we created
index = pinecone.Index(index_name)

임베딩 생성 및 업서트

테이블 임베딩을 생성하고, 이를 파인콘 인덱스에 업로드해야 합니다. 아래 코드는 테이블 임베딩을 생성하고 파인콘 인덱스에 업로드합니다.

from tqdm.auto import tqdm

# we will use batches of 64
batch_size = 64

for i in tqdm(range(0, len(processed_tables), batch_size)):
    # find end of batch
    i_end = min(i+batch_size, len(processed_tables))
    # extract batch
    batch = processed_tables[i:i_end]
    # generate embeddings for batch
    emb = retriever.encode(batch).tolist()
    # create unique IDs ranging from zero to the total number of tables in the dataset
    ids = [f"{idx}" for idx in range(i, i_end)]
    # add all to upsert list
    to_upsert = list(zip(ids, emb))
    # upsert/insert these records to pinecone
    _ = index.upsert(vectors=to_upsert)

# check that we have all vectors in index
index.describe_index_stats()

  100%|██████████| 313/313 [09:12<00:00, 1.49s/it]

{'dimension': 768,
 'index_fullness': 0.0,
 'namespaces': {'': {'vector_count': 20000}},
 'total_vector_count': 20000}

이제 파인콘 인덱스를 쿼리 할 준비가 되었습니다. 쿼리와 관련된 표를 변환하는지 테스트해 보겠습니다.

query = "which country has the highest GDP in 2020?"
# generate embedding for the query
xq = retriever.encode([query]).tolist()
# query pinecone index to find the table containing answer to the query
result = index.query(xq, top_k=1)
result

{'matches': [{'id': '19931', 'score': 0.822087, 'values': []}], 'namespace': ''}

파인콘 인덱스는 82.2% 신뢰도로 쿼리에 대한 답변을 포함하는 표를 반환했습니다. 이 표에 실제로 답이 포함되어 있는지 확인해 보겠습니다. 반환된 표를, 인덱스를 사용해서 관련 pandas 데이터 프레임을 가져옵니다.

id = int(result["matches"][0]["id"])
tables[id].head()

	Rank	Country	GDP (PPP, Peak Year) millions of USD	Peak Year
0	1	China	27,804,953	2020
1	2	India	11,321,280	2020
2	3	Russia	4,389,960	2019
3	4	Indonesia	3,778,134	2020
4	5	Brazil	3,596,841	2020

파인콘 인덱스에 의해 반환된 표는 실제로 쿼리에 대한 답변을 포함하고 있습니다. 이제 이 표를 읽고 정확한 답을 추출할 수 있는 모델을 만들어봅니다.

표 리더 초기화

표 QA 작업을 위해 미세 조정된 TAPAS 모델을 사용합니다. TAPAS는 위키피디아의 대규모 영어 데이터 모음에서 자체 감독 방식으로 사전 훈련된 BERT와 유사한 트랜스포머(Transformer) 모델입니다. 허깅페이스 모델 허브에서 질문 응답 파이프라인으로 모델과 토크나이저를 로드합니다.

from transformers import pipeline, TapasTokenizer, TapasForQuestionAnswering

model_name = "google/tapas-base-finetuned-wtq"
# load the tokenizer and the model from huggingface model hub
tokenizer = TapasTokenizer.from_pretrained(model_name)
model = TapasForQuestionAnswering.from_pretrained(model_name, local_files_only=False)
# load the model and tokenizer into a question-answering pipeline
pipe = pipeline("table-question-answering",  model=model, tokenizer=tokenizer, device=device)

답을 추출하기 위해 이전에 사용했던 질문을 응답 파이프라인에 파인콘 인덱스와 쿼리가 반환한 표에 실행해 봅니다.

pipe(table=tables[id], query=query)

{'answer': 'China',
 'coordinates': [(0, 1)],
 'cells': ['China'],
 'aggregator': 'NONE'}

모델이 질문에 정확하게 대답했습니다.

쿼리

먼저 쿼리를 처리학고 표에서 답변을 추출하는 두 가지 함수를 정의합니다.

def query_pinecone(query):
    # generate embedding for the query
    xq = retriever.encode([query]).tolist()
    # query pinecone index to find the table containing answer to the query
    result = index.query(xq, top_k=1)
    # return the relevant table from the tables list
    return tables[int(result["matches"][0]["id"])]

def get_answer_from_table(table, query):
    # run the table and query through the question-answering pipeline
    answers = pipe(table=table, query=query)
    return answers

query = "which car manufacturers produce cars with a top speed of above 180 kph?"
table = query_pinecone(query)
table

	Manufacturer	Model	Engine	Power Output	Max-Speed(kph)	Dry Weight (kg)
0	Fiat	805-405	FIAT 1979ccS6 supercharged	130 bhp	220	680
1	Alfa Romeo	GPR (P1)	Alfa Romeo 1990cc S6	95 bhp	180	850
2	Diatto	Tipo 20 S	Diatto 1997cc S4	75 bhp	155	700
3	Bugatti	Type 32	Bugatti 1991cc S8	100 bhp	190	660
4	Voisin	C6 Laboratoire	Voisin 1978cc S6	90 bhp	175	710
5	Sunbeam		Sunbeam 1988cc S6	108 bhp	180	675
6	Mercedes	M7294	Mercedes 1990cc S4 superchared	120 bhp	180	750
7	Benz	RH Tropfenwagen	Benz 1998cc S6	95 bhp	185	745
8	Miller	122	Miller 1978cc S8	120 bhp	186	850

참고

ChatGPT 플러그인 활용하기

june.6 — Thu, 1 Jun 2023 22:14:54 +0900

개요

이번 글에서는 ChatGPT를 활용하는 이용자들에게 새롭게 추가된 유용한 플러그인들을 활용할 수 있는 방법에 대해서 소개해보겠습니다.

최근 OpenAI의 ChatGPT-4 버전에 추가된 플러그인을 빗대어 AI에게 손과 발을 달아준 것과 유사하다고 많은 전문가들이 말하고 있습니다. 이는 기본적인 언어 능력을 가진 ChatGPT에게 API를 사용할 수 있도록 도구를 준 것이기 때문입니다. 이때 사용되는 API는 일반적인 API의 형식과 유사하게 JSON 형식을 사용하며, 그 구현 방법은 OpenAI의 플러그인 공식 문서에서 자세하게 확인할 수 있습니다.

일반 사용자에게 플러그인을 구현하는 방법은 크게 중요하지 않을 수 있습니다. 하지만 이러한 플러그인을 구현하는 데 있어, 일반적으로 사용하는 소프트웨어 구현 방법이 아닌 ChatGPT의 언어 능력에 기반해 API의 기능과 파라미터를 개발자가 명시하면, ChatGPT가 스스로 도구(API)를 활용해야할 때 선택적으로 API를 호출하여 구현되었다는 점은 알아가면 좋을 것 같습니다.

이렇게 구현된 플러그인은 세계의 많은 개발자들과 회사들이 다양한 플러그인을 추가하면서 점차 생태계를 이루어가고 있는데요, 이제 본격적으로 사용하면 좋은 플러그인들을 소개해보겠습니다.

설정하기

먼저 플러그인을 사용하기 위해서는 아래와 같이 GPT-4를 결제한 계정에서 플러그인 사용을 선택해야 합니다.

현재 OpenAI에서 기본으로 제공하는 Bing 기반의 검색 엔진을 사용할 수 있을 뿐 아니라, 다른 개발자들이 만든 플러그인까지 사용이 가능합니다.

플러그인 1: Wolfram

Wolfram은 수학 계산에 특화된 서비스를 제공하는 기업입니다. 해당 기업에서 만든 플러그인을 사용하면 수리 계산에 상대적으로 약한 언어 모델에 강력한 수리 능력을 추가할 수 있습니다. 플러그인을 사용하는 데 있어 기본적으로 총 3개의 중복되지 않는 기능을 가진 플러그인을 선택할 수 있습니다. 이 중 2개의 플러그인이 수리적 계산이 필요하다면, 남은 1개의 플러그인을 Wolfram 알파를 선택하여 정확한 계산 능력을 보장할 수 있습니다.

예시로 다이어트를 위해 4개월 동안 하루에 달리기로 태워야하는 칼로리를 Wolfram 플러그인을 통해 아래와 같이 계산해 볼 수 있습니다.

플러그인 2: Link Reader

이 플러그인은 다양한 링크의 PDF, 웹페이지, PPT, Image, 워드 파일 URL 주소에서 텍스트 내용을 불러오고 ChatGPT에게 넘겨줄 수 있는 플러그인입니다. 예시로 어느 정도 복잡한 내용의 증권사 PDF 리포트를 요약해달라는 요구에, 아래와 같이 개략적인 내용을 한눈에 파악할 수 있도록 사용할 수 있습니다.

플러그인 3: 여행 플래너(Expedia, Trip.com, WeatherWhiz)

이 플러그인 조합은 간단한 여행 플래너로 활용할 수 있습니다. Expedia, Trip.com으로 여행 계획, 비행기 예메 및 숙박 예약을 할 수 있으며, 여행 기간동안 날씨를 확인할 수 있습니다. 또한, 대략적인 전체 경비를 계획과 함께 확인할 수도 있기 때문에, 새로운 여행 계획을 예산을 정해서 수립할 때 유용하게 사용할 수 있습니다.

마무리

이렇게 지금까지 ChatGPT-4와 함께 사용하면 좋은 플러그인에 대해 알아보았습니다. AI에 점차 도구들이 추가되며 그 강력함을 체감할 수 있었는데요, 포스트를 보시는 분들도 한번 사용해보시면 좋을 것 같습니다. 새롭게 좋은 플러그인들이 나오면 추후 새로운 포스트로 다시 찾아뵙겠습니다.

AutoGPT를 사용하는 3가지 방법

알 수 없는 사용자 — Wed, 31 May 2023 18:13:48 +0900

https://github.com/Significant-Gravitas/Auto-GPT

GitHub - Significant-Gravitas/Auto-GPT: An experimental open-source attempt to make GPT-4 fully autonomous.

An experimental open-source attempt to make GPT-4 fully autonomous. - GitHub - Significant-Gravitas/Auto-GPT: An experimental open-source attempt to make GPT-4 fully autonomous.

github.com

AutoGPT는 Significant-Gravitas에서 공개한 오픈소스 프로젝트입니다. AutoGPT는 사용자가 목표를 제시하면, 그 목표를 달성하기 위해서 스스로 웹 검색, 파일 분석 등 다양한 액션을 사용해 목표와 일치하는 결과물을 제공하거나 목표를 해결할 수 있는 방안을 제시합니다. AutoGPT는 실수를 스스로 수정하는 자율반복(autonomous iterations) 기능을 사용합니다. 그래서 AutoGPT가 목표를 달성하기 위해 작업한 결과물에 대한 피드백을 주고 다시 목표 달성을 위한 작업을 시킬 수 있고, AutoGPT가 작업하는 동안 사용하는 Tool이나 Action을 확인하고 목표 달성에 적합한 다른 Tool 또는 Action을 제안함으로써 더 나은 결과물을 위한 학습을 하는 것도 가능합니다.

이 글에서는 AutoGPT를 사용할 수 있는 3가지 방법에 대해서 간략하게 알아보겠습니다.

1. 로컬

깃허브 오픈소스를 로컬에서 클론해서 사용하는 방법입니다. 로컬에 AutoGPT를 설치해서 실행하면, 원하는 목표를 제시했을 때 AutoGPT가 사용하려는 Tool 또는 Action을 확인하고, 만약 해당 Tool 또는 Action이 적합하지 않다면, 사용자가 직접 Tool 또는 Action을 선택해 줄 수 있습니다.

아래는 깃허브 리포지토리 주소입니다.

https://github.com/Significant-Gravitas/Auto-GPT

GitHub - Significant-Gravitas/Auto-GPT: An experimental open-source attempt to make GPT-4 fully autonomous.

An experimental open-source attempt to make GPT-4 fully autonomous. - GitHub - Significant-Gravitas/Auto-GPT: An experimental open-source attempt to make GPT-4 fully autonomous.

github.com

2. AgentGPT

AgentGPT

두 번째 방법은 AgentGPT를 웹사이트를 사용하는 것입니다. AgentGPT는 회원가입, OpenAI API 키가 없어도 데모 버전을 사용할 수 있습니다. 간단한 작업을 테스트하기에 좋은 툴입니다. 회원가입을 하고 OpenAI API 키를 추가하면, 작업을 위해서 생성한 에이전트와 작업 내용을 저장할 수 있습니다.

아래 화면은 AgentGPT가 구글 바드에 대한 포괄적인 보고서 작성 목표를 위해서 웹 서치를 진행하는 장면입니다. 완료된 작업은 pdf 파일 형태로 로컬에 다운로드받을 수 있습니다.

아래는 AgentGPT 사이트입니다.

https://agentgpt.reworkd.ai/ko

AgentGPT: Autonomous AI in your browser

Assemble, configure, and deploy autonomous AI Agents in your browser.

agentgpt.reworkd.ai

3. theSamur.ai

theSamur.ai

세 번째 방법은 theSamur.ai를 사용하는 것입니다.

아래는 theSamur.ai 사이트입니다.

https://autogpt.thesamur.ai/

AutoGPT : A ChatGPT with Automations

autogpt.thesamur.ai

Google의 PaLM2와 Bard

카스테라; — Wed, 31 May 2023 12:30:57 +0900

챗지피티(ChatGPT), GPT3.5, GPT4와 같은 단어들이 일반명사처럼 사용되는 시기이다보니, 구글에서 내놓은 비슷한 도구의 이름이 무엇인지 매칭이 잘 안 되는 느낌입니다. 그래서 찾아 보았습니다.

먼저 구글이 "바드(Bard)"라는 이름으로 내놓은 챗 도구는 PaLM2라는 LLM 모델을 기반으로 합니다. 기존의 모델명은 PaLM입니다. PaLM2 모델을 API 방식으로 사용하고자 할 경우에는 PaLM API(https://developers.generativeai.google/products/palm)를 호출해 사용하면 됩니다. 지금은 사용하려면, 대기리스트에 등록하고 순번이 오길 기다려야 합니다.

OpenAI의 플레이그라운드 같이 빠른 프로토타이핑을 지원하는 사이트의 이름은 MakerSuite(https://developers.generativeai.google/products/makersuite)입니다.

단, 구글 클라우드(GCP) 사용자인 경우에는, 이 PaLM API를 GCP(https://cloud.google.com/ai?hl=en) > Vertex AI > PaLM API를 통해 현재도 액세스하면 됩니다.

OpenAI	Google
ChatGPT	Bard
OpenAI API	PaLM API
GPT	PaLM
GPT-3.5/GPT-4.0	PaLM2
Playground	MakerSuite
Azure > OpenAI > OpenAI API	GCP > Vertex AI > PaLM API

참고로, PaLM은 모델 크기에 따라 Gecko, Otter, Bison, Unicorn의 4가지 모델이 있습니다.

PaLM 2는 이전 모델보다 더 많은 기능을 제공하면서도 더 빠르고 효율적이며, 다양한 크기로 제공되므로 다양한 사용 사례에 쉽게 배포할 수 있습니다. PaLM 2는 가장 작은 크기부터 가장 큰 크기까지 네 가지 크기로 출시될 예정입니다: Gecko, Otter, Bison, Unicorn입니다. Gecko는 매우 가벼워 모바일 기기에서 작동할 수 있으며 오프라인 상태에서도 뛰어난 인터랙티브 애플리케이션을 온디바이스로 사용할 수 있을 만큼 빠릅니다. 이러한 다재다능함 덕분에 PaLM 2는 전체 제품군을 더 다양한 방식으로 지원하도록 미세 조정하여 더 많은 사람들에게 도움을 줄 수 있습니다.

한편, OpenAI에서도 이미지나 음성, 코드 등을 처리하는 모델의 이름은 다른데요, 구글도 그렇습니다.

https://platform.openai.com/docs/models/overview

OpenAI API

An API for accessing new AI models developed by OpenAI

platform.openai.com

아래는 OpenAI가 제공하는 모델들의 리스트입니다.

구글은 Imagen(이미지), Codey(코드), Chirp(음성)이라고 부르는 것 같습니다.

https://ai.google/discover/foundation-models/

Google AI Foundation models – Google AI

Learn more about Google’s foundation models that include text-to-image, text-to-code and speech-to-text

ai.google

https://blog.google/technology/ai/google-palm-2-ai-large-language-model/

Introducing PaLM 2

Today at I/O 2023, Google introduced PaLM 2, a new language model with improved multilingual, reasoning, and coding capabilities.

blog.google

PaLM2 모델이란?

구글의 https://ai.google/ 공식 사이트의 PaLM2 모델에 대한 설명은 아래와 같습니다.

PaLM 2는 기계 학습과 책임감 있는 AI에 대한 획기적인 연구로 쌓아온 Google의 유산을 기반으로 하는 차세대 대규모 언어 모델입니다.

코드 및 수학, 분류 및 질문 답변, 번역 및 다국어 숙련도, 자연어 생성 등 고급 추론 작업에서 PaLM을 포함한 이전의 최첨단 LLM보다 더 뛰어난 성능을 발휘합니다. 이러한 작업을 수행할 수 있는 이유는 컴퓨팅 최적 확장, 향상된 데이터 세트 혼합, 모델 아키텍처 개선 등의 구축 방식 때문입니다.

PaLM 2는 책임감 있게 AI를 구축하고 배포하는 Google의 접근 방식에 기반을 두고 있습니다. 연구 및 제품 내 애플리케이션에서 잠재적인 피해와 편견, 기능 및 다운스트림 사용에 대해 엄격하게 평가되었습니다. Med-PaLM 2 및 Sec-PaLM과 같은 다른 최신 모델에 사용되고 있으며, Bard 및 PaLM API와 같은 Google의 제너레이티브 AI 기능 및 도구를 구동하고 있습니다.

PaLM API로 수행 가능한 작업

PaLM API로 수행할 수 있는 작업은 아래와 같습니다.

PaLM API는 다양한 기능을 갖춘 Google의 차세대 모델인 PaLM 2를 기반으로 합니다. PaLM 2는 주요 개발자 사용 사례에서 쉽게 사용할 수 있도록 최적화되었으며, 정확하고 섬세하게 지침을 따를 수 있습니다.

PaLM API로 수행할 수 있는 코딩, 글쓰기, 편집, 문제 해결, 추천, 데이터, 에이전트의 역할에 대해 아래의 홈페이지(https://ai.google/discover/palm2)에서 자세하게 설명하고 있는데요, 한번 확인해 보시면 좋을 것 같습니다.

https://ai.google/discover/palm2

Google AI PaLM 2 – Google AI

PaLM 2 - Google’s next generation large language model.

ai.google

PaLM2 논문 위치

PaLM2에 대한 성능 관련 논문은 아래의 링크에서 확인할 수 있습니다.

https://ai.google/static/documents/palm2techreport.pdf

Azure AI Studio

카스테라; — Thu, 25 May 2023 19:48:55 +0900

Azure AI Studio란?

마이크로소프트가 개발자 컨퍼런스 Microsoft Build 2023에서 Azure OpenAI 서비스에 기업들이 OpenAI ChatGPT-3.5 Turbo, GPT-4 같은 거대 언어 모델(LLM)들과 자체 보유한 데이터(텍스트, 이미지 등)를 결합해 내부 데이터에 대한 챗봇을 개발할 수 있는 Azure AI Studio를 공개했습니다.

https://youtu.be/DaIYrlMOj7I

https://www.youtube.com/watch?v=77CjOEKoHzw

Azure AI Studio 사용 방법

Azure AI Studio는 자체 데이터를 통해 GPT 모델을 훈련할 수 있으며, 데이터 저장을 위해 내장형 벡터 데이터를 내장하고 있습니다.

예를 들어, 아래와 같은 아웃도어 회사 웹사이트에 챗봇을 붙인다고 생각해 보겠습니다.

Azure AI Studio 포털은 다음과 같이 구성되어 있습니다.

오른쪽 Configuration에서는 GPT 모델을 선택할 수 있습니다.

왼쪽의 Assistant setup > Add your data에서는 자신의 데이터를 추가할 수 있습니다.

Add your data에서 데이터 소스 및 벡터 디비를 선택할 수 있습니다.

데이터를 업로드하고 나면, Chat session에서 챗봇이 자신이 입력한 데이터를 활용해 답변을 하는지 테스트해볼 수 있습니다.

추가한 실제 데이터를 바탕으로 답변하는 것을 확인할 수 있습니다.

어렵게만 느껴졌던 생성형 AI 챗봇을 커스텀하는 방법이 무척 쉬운 느낌으로 다가오는 발표였습니다.

OpenAI 창립자 샘 알트먼의 또 다른 시도: "월드코인"

카스테라; — Mon, 22 May 2023 12:00:28 +0900

샘 알트먼의 월드코인

OpenAI의 창립자 샘 알트먼(Sam Altman)이 ChatGPT 외에도 새로운 시도를 하고 있습니다. 바로, 안구 스캔이 가능한 글로벌 가상화폐 프로젝트인 월드코인(Worldcoin, https://worldcoin.org/)입니다.

참고 정보: 샘 알트먼은 핵융합에도 관심이 많습니다. 2021년에는 핵융합 발전 연구 기업인 헬리온에 약 3억 7천만 달러를 투자하기도 했습니다. 지난 5월 헬리온은 MS와 계약을 체결해 2028년부터 핵융합 에너지를 MS에 공급할 예정입니다.

파이낸셜 타임즈(https://www.ft.com/content/f1de2aee-ee13-45e1-bd61-0a269cd650d3)에 따르면, 샘 알트먼은 안구 스캔이 가능한 글로벌 가상화폐 프로젝트인 월드코인으로 1억 달러의 자금 조달을 앞두고 있습니다.

월드코인은 향후 6주 안에 출시될 계획이라고 합니다.

월드코인은 샘 알트만과 알렉스 블라니아가 2019년에 설립했습니다. 월드코인은 올해 초 마이크로소프트와 수십억 달러 규모의 계약을 체결한 ChatGPT 개발사 OpenAI에 비해 상대적으로 낮은 인지도를 유지해 왔습니다. 하지만 안구 스캔 기술을 사용하여 자체 글로벌 통화인 월드코인에 무료로 액세스하는 데 사용할 수 있는 글로벌 식별 시스템을 만들 계획을 세우고 있습니다.

기술 전문 간행물인 Information에 따르면, 작년 초 1억 달러 규모의 토큰 판매로 월드코인의 총 토큰 공급량은 30억 달러로 평가되었습니다. 하지만 이후 최근 12개월 동안 가상화폐 토큰과 프로젝트는 암흑기를 보내고 있습니다. 작년 11월 뱅크먼 프리드(Bankman-Fried)의 가상화폐 거래소 FTX가 붕괴되면서 토큰 가격의 급격한 하락이 가속화되었고, 가상화폐 회사들이 줄줄이 파산했습니다. FTX는 벤처 캐피털 펀드인 세쿼이아 캐피털(Sequoia Capital), 체이스 콜먼의 타이거 글로벌 매니지먼트(Chase Coleman's Tiger Global Management), 토마 브라보(Thoma Bravo)의 후원을 받았습니다. FTX의 파산과 뱅크먼 프리드를 둘러싼 스캔들로 인해 많은 우량 펀드가 암호화폐 분야에 대한 투자를 줄였습니다.

따라서, 지금 같은 가상화폐의 겨울 약세장에, 가상화페 분야의 프로젝트가 1억 달러 정도의 투자를 유치한 것은 놀라운 일입니다.

월드코인 경영진은 자신들의 접근 방식이 인공지능의 고도화로 인해 제기되는 두 가지 문제, 즉 1) 인간과 봇을 구분하고, 2)인공지능으로 인한 일자리 손실을 상쇄할 수 있는 일종의 보편적 기본 소득을 제공하는 문제를 해결하려고 한다고 말했습니다.

월드 코인은 "홍채 생체 인식을 사용하여 개인의 고유한 신원을 확인한 다음 사용자의 신원을 밝히지 않고 다양한 일상 애플리케이션에서 익명으로 사용할 수 있는 디지털 월드 ID를 생성"하는 것이 핵심이라고 말합니다.

월드코인은 다양한 문제에 대한 비판을 받았는데, 특히 생체 인식 스캔이 개인 정보 보호 위험을 초래한다는 비판이 가장 컸습니다. 월드코인 웹사이트의 한 섹션에서는 이 오브(Orb, 생체 인식 하드웨어)에 대한 우려를 해소하기 위해, 홍채 스캔을 저장하지 않으며, 이 장치가 사용자의 눈을 다치게 하지 않을 것이라고 말하고 있습니다.

베타 버전으로 운영되고 있는 이 회사는 곧 블록체인 프로토콜을 출시하고 향후 6주 내에 거래 기록을 시작할 예정입니다.

출처: https://www.ft.com/content/f1de2aee-ee13-45e1-bd61-0a269cd650d3

Subscribe to read | Financial Times

Leverage our market expertise Expert insights, analysis and smart data help you cut through the noise to spot trends, risks and opportunities. Join over 300,000 Finance professionals who already subscribe to the FT.

www.ft.com

월드코인이 지향하는 바

월드코인은 2019년 출범 당시에는 보편적 기본소득을 강조해 주목을 받았지만, 홍채 인식 장치를 사용해 무료 가상화폐의 대가로 이용자의 홍채, 얼굴 등의 고화질 사진을 무단으로 수집해 논란이 일기도 했습니다. 하지만, 창업자인 샘 알트먼이 올 3월 인격 증명을 내세워 생체인증 프로그램인 월드 ID과 월드앱(암호화폐 지갑)을 재출시한 것입니다.

월드 ID는 한 사람이 유니크하게 실재함을 증명하면서도 익명성을 보장할 수 있는 디지털 여권을 지향합니다. 월드코인을 통해 인증하면 웹, 모바일, 디앱(Decentralized applications)에 등록하고 전화번호, 생체 인증 등의 개인 정보를 보안을 유지하면서 공유할 수 있습니다.

월드코인에 따르면, 오늘날 전세계 인구의 50% 이상이 아직도 확인 가능한 법적 ID를 가지고 있지 않습니다. AI 시대에는 더욱 AI 시스템에 대한 민주적인 접근과 거버넌스를 보장하고 생성된 혜택을 공정하게 분배하고 온라인에서 누구와 무엇을 신뢰할 수 있는지 알기 위해 신원 문제(Proof of personhood)를 해결하는 것이 무엇보다 중요하다고 생각하고, 이를 위해 프라이버시와 자기 주권을 중요시하면서도 탈중앙화된 방식으로 해결하는 것을 목표로 하여 월드 ID 개방형 프로토콜과 SDK을 공개했다고 합니다.

출처: https://worldcoin.org/blog/announcements/introducing-world-id-and-sdk

Introducing World ID and SDK

World ID is a new privacy-first protocol that brings global proof of personhood to the internet.

worldcoin.org

월드 ID 사용 방법

아래는 홈페이지에 나와 있는 사용 방법을 일부 발췌했습니다.

월드 ID 받기
월드 앱에서 호환되는 지갑을 다운로드하기만 하면 됩니다. 곧 더 많은 기능이 추가될 예정입니다. 현재는 대부분의 국가에서 사용자와 개발자를 위한 전화 인증이 가능합니다. 단, 월드코인은 아직 베타 버전이며, Orb(하드웨어) 사용 가능 국가는 아르헨티나, 칠레, 인도, 케냐, 포르투갈, 스페인으로 제한됩니다. 올해 말에는 더 광범위한 출시가 예정되어 있습니다.

World ID로 로그인
World ID는 로그인에 사용하는 것이 가장 쉬운 활용 방법일 것입니다. 웹사이트, 모바일 앱 또는 디앱에서 월드코인으로 로그인을 선택하면 본인 소유 지갑의 요청을 승인하거나 거부하여 실제 고유한 사람임을 인증하고 증명할 수 있습니다.

한 사람이 항상 하나의 계정인 것은 아니므로 시스템에서는 가명도 지원합니다. 앱은 사용자가 하나의 월드 ID로 여러 개의 계정을 설정할 수 있도록 허용하여, 사용자만 모든 계정이 자신의 월드 ID에 속해 있다는 것을 알 수 있도록 할 수 있습니다. 예를 들어, 소셜 미디어 앱에서 봇을 방지하면서 개인정보를 보호하기 위해 인증된 프로필을 5개로 제한하려는 경우 유용합니다.

월드코인으로 로그인할 때 월드 ID, 앱 계정, 본인 인증 및 지갑은 서로 연결되지 않습니다. 월드코인 기여자나 애플리케이션 개발자를 포함한 그 누구도 여러 웹사이트에서 사용자를 추적하거나 계정에 연결된 월드 ID를 식별하거나 일반적으로 사용자에 대해 더 많이 알 수 없습니다.

월드 ID로 구축하기
월드코인은 비허가형 프로토콜로, 개발에 기여한 팀의 개입 없이 누구나 통합할 수 있습니다. SDK는 웹, 모바일 및 온체인(Onchain) 통합을 빠르고 간단하게 만듭니다. SDK에는 웹 위젯(JS), 개발자 포털, 개발 시뮬레이터, 예제, 가이드 등의 도구가 포함되어 있습니다.

또한, 월드 ID는 현재 OAuth 2.0과 OIDC(OpenID Connect)를 비롯하여 곧 검증 가능한 자격증명(VC), 분산화된 식별자(DID), 이더리움으로 로그인(SIWE) 등 기존의 개방형 신원 표준을 지원하도록 설계되었습니다.

SDK 베타 조기 액세스에 관심이 있는 개발자는 대기자 명단에 등록할 수 있습니다. 공개 출시는 향후 몇 주에 걸쳐 점진적으로 진행될 예정입니다.

애플리케이션 및 사용 사례

소셜 네트워크: 봇 보호, 커뮤니티 중재, 콘텐츠 어트리뷰션
투표: DAO 거버넌스, 정부 선거, 온라인 투표, 인구 조사
금융 서비스: 무담보 대출, 카드 사기, 규정 준수
고객 인센티브: 로열티 프로그램, 쿠폰, 추천, 무료 평가판
마켓플레이스: 평판, 가짜 리뷰, 가짜 거래, 스캘퍼(초단타 매매) 방지
자금 분배: 정부 복지, 비영리 지원, 장학금, 암호화폐 에어드롭, UBI

출처: https://docs.worldcoin.org/

Worldcoin Docs

The protocol to bring global proof of personhood to the internet. World ID is a digital passport that lets a user prove they are a unique and real person while remaining anonymous. This happens through zero-knowledge proofs (ZKP) and other privacy-preservi

docs.worldcoin.org

Google I/O 2023에서 발표된 중요한 AI 소식 4가지

알 수 없는 사용자 — Thu, 18 May 2023 17:48:25 +0900

https://blog.google/technology/ai/google-io-2023-keynote-sundar-pichai/#ai-products

Google I/O 2023: Making AI more helpful for everyone

We’ve been applying AI to make our products radically more helpful for a while. With generative AI, we’re taking the next step.

blog.google

최근 마이크로소프트와 같은 경쟁업체들이 제네레이티브 AI 분야에서 주도권을 잡으면서 구글의 제너레이티브 AI는 상대적으로 뒤처지고 있다는 지적이 있었습니다. 구글에서 개발한 바드는 잘못된 정보를 제시해서 알파벳의 주가가 7% 이상 폭락하기도 했습니다. 그런데 Google I/O 2023에서 발표된 AI와 관련된 기능들은 이러한 실망감을 반전시킬 수 있겠다는 평가를 받았습니다. 이 글에서는 Google I/O 2023에서 발표된 AI 관련 기능들에 대해서 간단하게 알아보겠습니다.

1. PaLM2와 Gemini

구글이 공개한 PaLM2는 2022년 8월에 공개됐던 PaLM 모델보다 더 강력한 기능을 탑재하고 있으며, 가볍고 배포가 쉽습니다. PaLM2는 특히 도메인별 지식을 미세 조정하면 더욱 강력해진다는 특징이 있습니다. 현재 도메인별로 미세 조정된 사용 사례는 Sec-PaLM과 Med-PaLM 2가지가 있습니다.

Sec-PaLM은 구글에서 최근 보안 사용 사례에 맞게 미세 조정한 모델입니다. 이 모델은 AI를 사용해 악성 스크립트를 더 잘 탐지합니다.

Med-PaLM2는 의학적 지식으로 미세 조정한 모델입니다. 이 모델은 기존 모델에 비해 부정확한 추론을 9배 감소시켰으며, 의학적 질문에 대해 임상 전문자의 수준에 근접한 답변을 제공할 수 있습니다. 또한, Med-PaLM2는 의료 영상에서 정보를 합성하는 기능도 제공합니다. 예를 들어, 방사선 전문의가 이미지를 해석하고 결과를 전달하는 데 도움을 줄 수 있습니다.

https://blog.google/technology/ai/google-palm-2-ai-large-language-model/

Introducing PaLM 2

Today at I/O 2023, Google introduced PaLM 2, a new language model with improved multilingual, reasoning, and coding capabilities.

blog.google

Gemini는 구글 딥마인드에서 개발 중인 차세대 모델입니다. Gemeni는 아직 초기 단계이지만, 이전 모델에서는 없었던 다중 모드 기능이 있습니다. Gemini도 미세 조정된다면 PaLM2처럼 다양한 크기와 기능으로 사용할 수 있습니다.

https://lifestyle.livemint.com/smart-living/innovation/google-gemini-ai-tool-open-ai-chatgpt-111684143093728.html

Explained: All you need to know about Gemini, Google's response to ChatGPT

Could Google's Gemini, an artificial intelligence tool announced recently, outperform OpenAI's ChatGPT and Microsoft's Bing AI?

lifestyle.livemint.com

2. Search Generative Experience(SGE)

Google SGE

구글은 전 세계 모든 검색 쿼리의 약 90%를 처리하며 검색 엔진 시작에서 가장 큰 점유율을 차지하고 있습니다. Google I/O에서 공개한 새로운 검색은 AI 기능을 구글의 자사 검색 엔진에 통합한 것으로, Bing Chat에 대응하는 기능이라고 할 수 있겠습니다.

SGE는 PaLM2를 포함한 다양한 LLM으로 구동되며, 특히 검색 결과에 제시된 정보를 입증하는 웹 검색 결과를 식별하는 등 검색에 특화된 모델을 사용합니다. 모델은 핵심 순위 시스템과 함께 사용되어 신뢰할 수 있는 결과를 제공하도록 되어있습니다. 이러한 시스템으로 SGE를 제한해서 LLM의 한계인 할루시네이션과 부정확성을 완화합니다.

SGE는 구글의 Search Labs에서 테스트해 볼 수 있습니다.

3. 바드와 AI로 업그레이드한 구글 워크플레이스

구글 렌즈에 도입된 바드

바드는 최근 PaLM2 모델로 옮겨져 수학, 추론, 코딩 및 많은 기능을 제공할 수 있게 되었습니다. 바드는 현재 일본어와 한국어로 제공되며, 곧 40개 언어를 지원할 계획입니다. 바드는 구글 렌즈, 문서, 드라이브, Gmail, 지도 등 다양한 구글 앱 및 서비스 기능에 통합해 다양한 기능을 제공할 예정이며, 사용자는 이러한 도구와 확장 프로그램을 어떻게 사용할지 결정할 때 개인 정보 설정을 제어할 수 있습니다.

https://blog.google/technology/ai/google-bard-updates-io-2023/

What’s ahead for Bard: More global, more visual, more integrated

We’re ending the waitlist for Bard, adding support for more regions, introducing images and connecting with partner apps.

blog.google

4. 구글 클라우드의 Duet AI

구글 클라우드 스토리지 버킷을 생성하기 위해 Duet AI가 자동 생성하는 코드

Duet AI는 구글에서 클라우드 플랫폼에서 개발하는 개발자를 위한 코드 및 채팅을 지원하는 개발 인터페이스입니다. Duet AI는 실시간으로 입력되는 코드를 보고 코드를 추천해주고, 코드를 자동으로 완성하며, 코드의 취약성과 오류를 식별하는 동시에 코드 수정 사항도 제안합니다.

https://cloud.google.com/blog/products/application-modernization/introducing-duet-ai-for-google-cloud?hl=en

Introducing Duet AI for Google Cloud – an AI-powered collaborator | Google Cloud Blog

Cloud developers — you’ve got it all. You can code in your choice of languages, enjoy portability with containers, minimize complexity with serverless, and manage the entire software lifecycle by following DevOps principles. But let’s face it, buildi

cloud.google.com

AppSheet는 제너테리티브 AI로 구동되는 노코드 서비스로, 간단한 프롬프트로 앱을 생성할 수 있습니다.

AppSheet를 사용해 앱 생성하기

이 글에서는 Google I/O 2023에서 발표한 주요 AI 소식 4가지에 대해서 살펴보았습니다. Google I/O 2023은 Microsoft, OpenAI와 같은 업체를 따라잡기 위해 AI 모델 개발 및 자사 제품과의 통합에 집중했다는 인상을 줍니다.

Google I/O 2023에 대한 더 자세한 내용은 100 things we announced at I/O 2023 에서 확인할 수 있습니다.

https://blog.google/technology/developers/google-io-2023-100-announcements/

100 things we announced at I/O 2023

Google I/O 2023 was filled with news and launches — here are 100 things announced at I/O.

blog.google