notebookLM 에 영문팟케스트 만들어 주는 것을 음성을 반대로 자동번역 및 자막 생성하고 문서화 하는 것을 만들었습니다.
스크립트로 영상을 만들거나 캔바로 보내 카드뉴스 마케팅하는데 도움은 될 듯 하지만 웹에서는 그런데 현재로서 완성도를 더 높이려면 맥OS에 가지고 있는 기능을 사용해서 만드는 것이 훨씬 나을거 같습니다.
쉽게는 아니지만 컨텐츠 뽑아내는 실험은 그만해야 할거 같아요 문제는 오픈소스로는 한계가 있어보입니다. 단어장을 계속 추가해줘야 해서 어느정도 인간이 교정봐야 할게 있으나 (Deepl 돈안써서 만든거라 딱 그정도) 다시 OpenAI, 클로드 로 번역 및 교정을 하는 것으로 처리하면 잘 나오기는 할텐데
이제 srt를 더 음성부분을 세밀하게 나눠 두사람의 대화를 카톡채팅 비슷하게 애니메이션으로 만드는 것이면 책 안의 캐릭터가 책소개 하려는 부분까지는 어찌 될듯합니다.
기계가 만든 스크립트를 다시 텍스트로 추출 해서 대화 콘텐츠를 영문, 한글로 번역
혼자 프로그램으로 자막 만들고 영상만들고… md + srt + json – animation epub을 아 머리 복잡해 osx m3 에 최적화 코드로 속도 8배 빨라집니다.
노트북LM 을 이용해서 잠깐 만들었지만 테스트해서 비슷하게 나오는 템플릿 만드는데 시간 낭비 다 했지습니다. 전자책으로 이렇게 구성되서 한글 음성도 나올 수 있게 작업중이며 본인 목소리로 학습할 수 있는 오픈소스도 많이 있고 기존에 구축되어 있는 것도 상당히 많이 있습니다. 일단 coqui-ai/TTS 를 학습한 자료중 일부를 써볼 준비중입니다.
돈 없으면 싸구려 지식을 얻게 되는 세상이 되니 돈 내는 컨텐츠를 또 다른 형식으로 제작해볼 생각입니다. 제가 GPT 나 에이전트 관련 책을 출간 안하는 이유가 OS단에서 처리하면 끝나는데 오늘 미국에서는 발표됐네요 앞으로 오리지널을 생각못하면 대부분의 서비스는 곧 사망!
가시적으로 보여지는 것이 외에 데이터기반으로 압력감지를 폰트화 하는 것이라서 보일때는 2D인데 실제로 전혀 다른 데이터가 포함된 필기를 건강이랑 결합한 프로젝트입니다. 인간의 노화도 알아볼 수 있고 ? 필체의 변화를 건강상태랑 즉각 반영합니다. 특히 뇌에 이상이 생기면 필기체가 변화합니다.
이건 저도 경험한바 있기때문에 인지기능을 테스트하는 것과 비슷합니다. 같은 글씨를 매년 쓰면 다른 글자가 나오게 됩니다. 그걸 이용한 프로젝트입니다.
신경학적 변화 감지
파킨슨병, 알츠하이머 등 신경퇴행성 질환의 초기 징후 포착
뇌졸중 후 회복 과정 모니터링
미세한 운동 기능의 변화 추적
데이터 수집 방식
필기 압력 (pressure sensitivity)
글자 모양의 일관성
쓰기 속도와 리듬
획의 연속성과 끊어짐
실시간 건강 모니터링
정기적인 필기 샘플 수집을 통한 변화 추적
갑작스러운 변화 발생시 조기 경고 시스템
장기적인 건강 트렌드 분석
이런 시스템을 구현하기 위해서는 다음과 같은 기술적 요소들이 필요할 것 같습니다:
압력 감지 센서
실시간 데이터 처리 알고리즘
머신러닝 기반 패턴 인식
시계열 데이터 분석
와콤, 아이패드만 있으면 감지가 됩니다. 그리고 지속적인 손글씨 연습데이터를 기록하는 앱을 준비하고 있습니다. 그 것을 이용해서 폰트도 만들어 드릴 생각이지만 본 목적은 향후 본인의 글씨를 교정하는 것도 있지만 내가 어떤 글씨를 쓰고 있고 건강에 문제가 발생했을 때 미리 알아 차릴 수 있게 하는 것도 있습니다.
Wacom의 압력감지:
압력 레벨의 정밀한 감지 (대부분의 모델이 8192단계)
펜의 기울기 정보도 활용 가능
실시간 데이터 스트림 접근 가능
아이패드 애플펜슬의 압력감지
압력감지 특성
최대 4096단계의 압력감지
기울기(Tilt) 감지 가능
방향(Azimuth) 데이터 수집
초당 240회 데이터 샘플링
Web API 접근
제가 폰트를 만드는 이유도 CNC, 로봇팔 등에 인간 고유의 것을 접목하려는 것도 다 연결되어 있습니다. 뇌졸중이 온지 벌써 8년째인데 제가 느낀 것은 현재 손상된 부분은 연습을 통해 매꿔질 수 있지만 본질적으로 우회하고 있다는 것입니다.
보통 상세페이지 작업은 세로로 아주 길게 작업을 합니다. 카드뉴스는 스윕으로 이미지를 보여주는 방식이지만 웹툰처럼 길게 연결해서 보는 형식인데 숏폼에서는 이런 방식을 영상화 하려면 이미지를 잘라서 트랜지션을 하거나 재편집을 해야합니다.
그 시간이 꽤 오래 걸리고 조금씩 그럴듯하게 만들려면 너무 긴 이미지는 편집하긴 힘듭니다. 조절하기도 어렵고 그래서 전부 프로그램으로 작업을 했고 카메라를 고정하고 이미지를 움직이면서 줌인, 줌아웃 틸트업 다운 형식의 기능을 주안점으로 만들었습니다.
물론 앞으로 기능을 더 추가하겠지만 일단 3D공간에서 고정된 카메라에 종이를 사람들이 움직이는 것 같은 느낌입니다, 마치 오토바이는 고정되어있고 사람들이 나무를 들고 계속 움직이는 것 같은 촬영기법입니다. 가끔 틱톡에 올라오는 것처럼 이제 한 장의 이미지에서 레이어를 추출해서 강제로 입체화해서 움직일 때 조금씩 다른 방향으로 움직여서 카메라 효과를 극대화 할 생각입니다.
요즘에는 기술적으로 불가능한게 별로 없어서 착시나 약간의 영상이펙트로 눈에 띄는 무언가를 할 수 있습니다. 이제 URL 에서 이미지를 전부 추출하고 핵심이 되는 메시지, 폰트, 말풍선, 집중선 등 웹툰 효과 같은 것을 넣을 생각입니다.
저희 회사처럼 실용서를 하는 회사는 컷별로 이동을 하거나 설명을 하는 페이지에는 이미지와 설명이 겹쳐 나오는 페이지들이 있습니다. 만화뷰어, 잡지뷰어에 이어 전자책용도로 아예 새로 기능을 추가해서 작업을 하려고 다양한 기술적 검토를 하고 있습니다.