ChatGPT 고급데이터분석 활용 Example(Boston Housing)

Advanced Data Analysis (i.e. Code Interpreter) 활용:

ChatGPT 고급데이터분석 Example(Boston Housing)

 

 

ChatGPT의 Advanced Data Analysis는 주어진 데이터셋을 기반으로 시각화와 모델링을 포함한 다양한 데이터분석을 제공하며 추가적으로 분석결과에 대한 해석도 제공한다. 이 기능을 어떤 방식으로 사용할 수 있는가에 대해 Test Drive해 본다.

 

P: Boston Housing Dataset을 로드하라

 

P: Boston Housing Dataset에 대한 100 단어 분량의 설명을 제공하라

 

보스턴 주택 데이터셋은 1970년대 중반 보스턴 지역의 주택 가격과 관련된 정보를 포함하고 있습니다. 이 데이터셋은 506개의 샘플로 구성되어 있으며, 범죄율, 주택당 평균 방 수, 고용 센터까지의 거리 등 13개의 설명 변수와 중간 주택 가격을 반영하는 목표 변수로 구성되어 있습니다. 이 데이터는 주택 가격 예측 및 관련 연구에 널리 사용됩니다.

 

P: categorical features가 있다면 더미 처리하고,  randomforest로 예측 모델을 만들어라

P: RandomForest variable importance를  barh로 시각화하라

 

 

# chatgpt # advanceddataanalysis # 전용준 # 리비젼 # prompt # 인공지능 # promptStrategies  # chatgpt # advanceddataanalysis # 전용준 # 리비젼 # prompt # 인공지능 # promptStrategies # chatgpt # advanceddataanalysis # 전용준 # 리비젼 # prompt # 인공지능 # promptStrategies 

 

P: dummy 변수를 포함한 데이터를 사용하여 3 level decision tree를 생성하고 시각화하라. dummy 변수를 포함한 데이터를 사용하여 3 level decision tree 시각화에서 font size를 300% 크게 변경하라

 

 

참고>> 알아서 ChatGPT가 의결정나무를 시각화 해주기는 하지만 눈으로 볼 수 없을 정도의 작은 폰트로된 버전을 주는게 보통이다. 이런 부분은 분석하는 사람이 조절하는 방법을 프롬프트로 표현할 수 있는 훈련이 되어 있어야한다.

P: decision tree의 결과와 RandomForest variable importance 결과를 비교하고
종합적인 의미 설명을 제공하라

 

먼저, 두 모델 (결정 트리와 랜덤 포레스트)에서 도출된 결과를 요약해보겠습니다:

1. Decision Tree:
   • RM (주택당 평균 방 수)이 가장 상위 노드에서 사용되었습니다. 이는 RM이 주택 가격 예측에 매우 중요한 변수로 판단되었음을 의미합니다.
   • 트리의 다른 단계에서는 LSTAT, DIS 등의 변수들이 사용되었습니다.
2. RandomForest Variable Importance:
   • LSTAT이 가장 높은 중요도를 가진 변수로 나타났습니다.
   • RM, DIS, CRIM 등의 변수들도 상대적으로 높은 중요도를 보였습니다.

비교 및 종합적인 의미:

• 공통점: 두 모델 모두 RM, LSTAT, 그리고 DIS를 주택 가격 예측에 중요한 변수로 고려하였습니다. 이는 이들 변수가 주택 가격과 강력한 관계를 가지고 있을 가능성이 높다는 것을 의미합니다.
• 차이점: 랜덤 포레스트는 여러 개의 트리를 기반으로 중요도를 평가하므로, 각 특성의 중요도가 더 균형 있게 평가될 가능성이 있습니다. 반면, 단일 결정 트리는 데이터의 특정 부분에 민감하게 반응할 수 있습니다.
• 종합: RM (주택당 평균 방 수)와 LSTAT (인구 중 하위 계층의 비율)는 주택 가격에 큰 영향을 미치는 것으로 판단됩니다. RM이 높으면 주택 가격도 높아질 가능성이 크고, LSTAT이 높으면 주택 가격이 낮아질 가능성이 큽니다. 또한, DIS (고용 센터까지의 거리)도 주택 가격에 영향을 미칠 수 있습니다.

결론적으로, 주택 가격 예측에 있어 RM, LSTAT, 그리고 DIS와 같은 변수들의 중요성을 고려하여 모델링 및 분석을 수행하는 것이 좋습니다.

 

 

P: 데이터 과학자에게 분석 결과를 설명하는 수준의 전문적 설명을 제공하라

 

Decision Tree 분석:

• Root Node: RM (주택당 평균 방 수)이 최상위 노드에서 사용되었습니다. 이는 주택 가격의 분산을 가장 크게 설명하는 특성으로 판단되었습니다. 트리의 첫 번째 분할에서 RM의 임계값을 기준으로 주택 가격의 분포가 크게 달라진 것을 확인할 수 있습니다.
• Internal Nodes: 트리의 내부 노드에서는 LSTAT, DIS 등의 특성이 사용되었습니다. 이는 주어진 데이터에서 이러한 특성들이 주택 가격 예측에 추가적인 정보를 제공하였음을 의미합니다.
• Leaf Nodes: 각 잎 노드는 예측값을 나타내며, 이 값은 해당 노드에 도달한 훈련 샘플들의 주택 가격 평균값입니다.

RandomForest Variable Importance:

• LSTAT이 가장 높은 Gini importance를 가진 특성으로 도출되었습니다. 이는 랜덤 포레스트 내의 모든 트리에서 LSTAT이 주택 가격의 분산을 설명하는 데 큰 역할을 했다는 것을 의미합니다.
• 다른 중요한 특성들로는 RM, DIS, CRIM 등이 있으며, 이들의 중요도 순위와 값들은 데이터의 다양한 부분 집합에서 학습된 다수의 트리로부터 집계된 결과입니다.

종합적 분석:

• 두 모델 모두 RM과 LSTAT의 중요성을 강조하고 있습니다. 이러한 일관성은 이들 변수가 주택 가격 예측에 있어서 중요한 도메인 지식을 포함하고 있을 가능성이 높다는 것을 의미합니다.
• RM과 LSTAT 사이의 상관 관계, 그리고 다른 특성들과의 상호 작용을 더 깊게 탐색해보는 것이 필요합니다. 특히, 랜덤 포레스트의 특성 중요도는 단일 특성의 중요도뿐만 아니라, 특성 간의 상호 작용도 고려되므로, 중요도 높은 특성들 간의 상호 작용을 추가적으로 분석하는 것이 유익할 것입니다.
• 최종 모델 선택 시, 랜덤 포레스트의 성능, 오버피팅 경향, 해석 가능성 등을 고려하여 결정해야 합니다.

 

# chatgpt # advanceddataanalysis # 전용준 # 리비젼 # prompt # 인공지능 # promptStrategies  # chatgpt # advanceddataanalysis # 전용준 # 리비젼 # prompt # 인공지능 # promptStrategies # chatgpt # advanceddataanalysis # 전용준 # 리비젼 # prompt # 인공지능 # promptStrategies 

 

 

P: 보스턴의 시 고위 간부에게 분석 결과를 이해하기 쉽도록 설명을 제공하고
시의 입장에서 주택정책을 수립하는 방향에 대한 제언을 제공하라

 

참고>> 이 데이터 셋은 1970년대 중반 의 상황을 담은 것이다. 2023년의 시 간부가 들을 이야기가 아닐 수 있다. 예시를 만들기 위해 시차는 무시하고 진행해 본다

 

 

안녕하세요, 보스턴 시 고위 간부님.

우리가 최근 분석한 주택 가격 데이터를 통해 얻은 몇 가지 주요 발견과 이를 토대로 한 주택정책에 대한 제안을 드리고자 합니다.

 

분석 결과 요약:

1. 주택당 방의 수 (RM): 주택당 평균 방의 수가 많을수록 주택 가격이 상승하는 경향이 있습니다. 이는 크고 넓은 주택이 더 높은 가격을 가질 가능성이 높다는 것을 의미합니다.
2. 하위 계층 비율 (LSTAT): 지역의 하위 계층 비율이 높을수록 주택 가격이 하락하는 경향을 보였습니다. 즉, 경제적으로 어려운 지역에서는 주택 가격이 낮을 가능성이 큽니다.
3. 고용 센터와의 거리 (DIS): 주요 고용 센터와의 거리가 가까울수록 주택 가격이 상승하는 경향을 보였습니다.

주택정책 제안:

1. 주택 확장 및 개선 지원: 주택의 크기와 넓이는 주택 가격에 큰 영향을 미치므로, 시민들에게 주택을 확장하거나 개선하는 데 필요한 지원을 제공하는 프로그램을 고려해볼 수 있습니다.
2. 하위 계층 지원: 경제적으로 어려운 지역의 주택 가격이 낮은 것을 고려할 때, 이러한 지역의 주민들을 위한 교육, 일자리 창출, 지역 개발과 같은 다양한 지원 프로그램을 마련하는 것이 중요합니다.
3. 교통 인프라 개선: 주요 고용 센터와의 거리가 주택 가격에 큰 영향을 미치므로, 교통 인프라를 개선하여 시민들이 주요 고용 센터로의 접근성을 높일 수 있도록 지원하는 것이 좋습니다.

이 분석은 보스턴의 주택 가격에 영향을 미치는 몇 가지 주요 요인을 확인하는 데 도움을 주었습니다. 이러한 정보를 바탕으로 시는 더 효과적인 주택정책을 수립하고 실행할 수 있을 것입니다.

감사합니다.

 

 

P: 보스턴의 시가 가진 일반적인 특성을 요약하라. 데이터 셋 자체가 아닌 일반적인 보스턴의 특성을 설명하라

 

보스턴의 특성:

1. 역사적 배경: 보스턴은 미국의 초기 역사와 깊은 연관이 있습니다. 1773년 보스턴 차 파티와 같은 중요한 사건들이 이곳에서 발생했으며, 도시는 미국 독립 전쟁의 중심지였습니다.
2. 교육: 보스턴은 세계적으로 유명한 교육 기관들이 밀집해 있는 지역으로, 하버드 대학교, MIT (매사추세츠 공과대학교) 등이 있습니다.
3. 문화: 보스턴은 미국의 주요 문화 중심지 중 하나로, 다양한 박물관, 공연장, 예술 행사들이 있습니다.
4. 스포츠: 보스턴은 스포츠 팬들에게 천국 같은 곳입니다. 보스턴 레드삭스 (야구), 보스턴 셀틱스 (농구), 및 보스턴 브루인스 (하키) 등의 팀이 있습니다.
5. 경제: 금융, 고등 교육, 의료, 기술, 바이오테크 등 다양한 산업 분야에서 활발한 경제 활동이 이루어지고 있습니다.
6. 해양 도시: 보스턴은 대서양에 면한 해양 도시로, 많은 부두와 항구를 보유하고 있습니다. 이는 물류와 무역에 있어 중요한 역할을 합니다.
7. 다양한 인구 구성: 다양한 문화와 인종, 국적의 사람들이 보스턴에 거주하고 있습니다. 이는 도시의 문화적 다양성과 풍부함을 만들어 줍니다.

 

P: 데이터셋 분석결과와 일반적인 보스턴 특성을 종합하여 보스턴의 시 고위 간부에게
시의 입장에서 주택정책을 수립하는 방향에 대한 제언을 제공하라

 

 

안녕하세요, 보스턴 시 고위 간부님.

보스턴의 주택 가격 데이터와 일반적으로 알려진 보스턴의 특성을 종합하여 주택정책 수립에 대한 몇 가지 제안을 드리고자 합니다.

데이터 분석 결과를 바탕으로 한 주요 발견:

• 주택의 크기와 넓이 (RM)는 주택 가격에 큰 영향을 미칩니다.
• 경제적으로 어려운 지역 (LSTAT)의 주택 가격은 상대적으로 낮습니다.
• 주요 고용 센터와의 접근성 (DIS)은 주택 가격에 영향을 미칩니다.

보스턴의 일반적 특성:

• 보스턴은 세계적인 교육 기관들과 다양한 산업 분야에서 활발한 경제 활동을 보입니다.
• 문화, 스포츠, 해양 활동 등 다양한 면에서 미국의 주요 도시 중 하나로 자리매김하고 있습니다.

주택정책 제안:

1. 교육과 주택: 세계적으로 유명한 교육 기관들이 있는 보스턴에서 교육 기관 주변의 주택 가격이 상승할 가능성이 있습니다. 교육 기관 주변 지역의 주택 가격 상승을 완화하고, 학생 및 교직원들의 주거 환경을 개선하기 위한 정책을 검토해볼 필요가 있습니다.
2. 경제적 지원: 데이터 분석 결과, 경제적으로 어려운 지역의 주택 가격이 낮은 것을 확인하였습니다. 이러한 지역의 주민들을 위한 경제적 지원과 함께, 지역 개발 프로젝트를 통해 지역의 경제 활성화와 주택 시장 개선을 도모할 수 있습니다.
3. 교통 인프라 개선: 주요 고용 센터와의 거리가 주택 가격에 영향을 미치므로, 교통 인프라를 개선하여 시민들의 주요 고용 센터 접근성을 향상시키는 정책을 마련하는 것이 좋습니다.
4. 문화 및 스포츠 시설 주변 주택 정책: 보스턴의 문화 및 스포츠 시설 주변의 주택 가격이 상승할 가능성이 있습니다. 이러한 지역의 주택 가격 상승을 완화하고, 문화 및 스포츠 활동에 참여하는 시민들의 주거 환경을 개선하기 위한 정책을 고려해볼 필요가 있습니다.

이러한 제안들은 보스턴의 특성과 최근 주택 데이터 분석 결과를 바탕으로 한 것입니다. 이를 통해 보스턴 시의 주택정책 수립에 도움이 되기를 바랍니다.

감사합니다.

 

 

 

 

P: 시의 입장에서 주택정책을 수립하는 방법을 심화 하기 위해 추가적인 데이터 분석이 필요한 사항 5가지를 제안하라

 

시의 입장에서 주택정책을 더 심도 있게 수립하기 위해 필요한 추가적인 데이터 분석은 다음과 같습니다:

1. 인구 통계 데이터:
   • 보스턴의 다양한 지역별로 연령대, 소득 수준, 직업, 교육 수준 등의 인구 통계 데이터를 분석하면 지역별 주택 수요와 관련된 특징을 더 잘 파악할 수 있습니다.
2. 주택 유형 및 구조:
   • 아파트, 타운하우스, 단독주택 등 다양한 주택 유형과 그 구조 (예: 주택 연령, 수리 여부)에 따른 주택 가격의 분포를 파악하여, 주택정책을 다양화할 수 있습니다.
3. 교통 및 접근성 분석:
   • 각 지역의 대중 교통 시스템, 주요 도로 및 교통량, 주차 시설 등의 데이터를 분석하여 주택과 교통 사이의 연관성을 파악하고, 교통 편의성을 높이는 정책을 수립하는 데 도움이 될 수 있습니다.
4. 지역별 편의시설 및 공공시설 분석:
   • 학교, 병원, 공원, 상점, 레크리에이션 시설 등의 편의 및 공공시설의 분포와 상태를 파악하여, 주택 가격과의 관계를 이해하고, 필요한 시설을 개선하거나 새로이 조성하는 정책을 제안할 수 있습니다.
5. 지역별 부동산 투자 및 개발 동향:
   • 최근의 부동산 투자 및 개발 프로젝트, 그리고 예정된 프로젝트에 대한 데이터를 분석하여, 투자 및 개발 동향을 파악하고, 시의 주택정책과의 연계성을 강화할 수 있습니다.

이러한 추가적인 데이터 분석을 통해 보스턴 시는 주민들의 다양한 주거 환경 및 요구사항을 고려한 더욱 체계적이고 효과적인 주택정책을 수립할 수 있을 것입니다.

 

 

ChatGPT에 내장된 DALL-E 3로 생성한 보스턴 주택가 모습. prompt: boston 시 외곽 주택가의 풍경을 수채화 풍으로 wide shape으로 생성하라

 

 

# chatgpt # advanceddataanalysis # 전용준 # 리비젼 # prompt # 인공지능 # promptStrategies  # chatgpt # advanceddataanalysis # 전용준 # 리비젼 # prompt # 인공지능 # promptStrategies # chatgpt # advanceddataanalysis # 전용준 # 리비젼 # prompt # 인공지능 # promptStrategies 

 

 

 

 

 

Ending Note:

예제를 통해 살펴본 바와 같이 ChatGPT의 Advanced Data Analysis는 2023년 가을 현재 이미 데이터 분석 뿐 아니라 [1]  데이터 분석 결과에 대한 해석(interpretation)과 [2] 분석 방향 제시(Guidance)를 포함한 매우 강력한 기능을 데이터 사이언티스트와 전략 컨설턴트가 합쳐진 정도의 수준으로(인간 specialist 상위 1% 이내 수준?) 제공한다. 특히 데이터 분석 결과의 해석은 경험이 많은 데이터 사이언티스트들 조차도 매우 힘겨워하는 작업이다.

다만, 효과적이고 가치있는 분석을 수행하기 위해서는 사용자가 ChatGPT의 Advanced Data Analysis의 분석 진행을 깊이있는 [1] 데이터 분석 방법 이해 및 [2] 문제 도메인에 대한 이해를 바탕으로 [3] (ChatGPT를) 체계적으로 지휘(=프롬프트 작성 prompting)할 수 있어야 한다. "ChatGPT 이 데이터를 알아서 분석해줘"라는 수준으로는 쓸모있는 결과를 얻을 수 없다. ChatGPT가 있다고 해서 데이터 분석을 전혀 모르던 사람이 며칠만에 전문가 만큼을 분석하게 되는 것 역시도 절대로 가능한 것이 아니라는 점을 유의해야 한다.

 

 

 

부록 (참고용 Live Session 영상)

[1] ChatGPT Code Interpreter 그냥 너 혼자 해봐라

https://www.youtube.com/watch?v=ODdsuf7_3dI&t=13s

 

[2] ChatGPT Code Interpreter: 반도체 공정도 분석할 수 있나?
https://www.youtube.com/watch?v=cIBZPKHGkPg&t=197s

 

[3] ChatGPT 코드 인터프리터! 너 혼자 다할 수 있어? 아닌 것 같지?
https://www.youtube.com/watch?v=bAUWg8i5H4k&t=1152s

 

 

 

 

 

강의요청관련 문의 : 02.415.7650