과학에 대한 전통적인 이미지가 있다. 이는 뉴턴적인 세계관인 근대 과학의 이미지랄 수 있는데, 결정론적인 기계론적 우주관을 말한다. 우주는 감아 놓은 태엽이 풀리면서 순간순간 일정한 규칙에 따라 예측 가능한 방식으로 움직이는 거대한 시계와 같다는 것이다. 그것은 또한 모든 물리적 법칙을 알고 초기의 모든 조건을 알면 세상의 모든 일을 예측할 수 있다는 ‘라플라스의 악마’라는 이미지로도 알려져 있다.

이런 근대적 과학의 오만한 태도에 대해, 아인슈타인의 상대성이론은 시간과 공간의 절대성에 결정타를 날렸고(움직이는 물체에게 시공간은 상대적이다! 그래서 고전적인 사건의 동시성 개념은 깨어졌다!), 양자역학은 미시세계에서의 예측이 단지 확률적일 수밖에 없음을 알려주었다. 더군다나 비교적 최근의 카오스 이론은 우리가 1주일 후의 날씨도 제대로 예측 못한다는, 과학의 한계가 여실함을 우리에게 알려주었다 등등. 

‘현대적’ 과학은 우리가 알거나 알 수 있는 것이 얼마나 제한적인지를 따끔하게 알려주는 것 같다. 오만했던 과학은 이제 겸손해야 하며, 그 잘난 결정론적 예측의 지휘봉을 그만 휘두르고 내려놓아야 할 것 같다. 결정론적 세계관이 압살한 인간의 주체성과 자유의 회복을 위해, 현대의 여러 철학적 텍스트 속에서 과학의 이러한 ‘현대적’인 이미지가 자주 소개되는 것도 이상한 일은 아니다. 마치 ‘현대적’ 과학의 성취들은 라플라스의 악마와는 반대편에 있는 것 같다. 

하지만 여기서 다시 가장 기본적 질문을 던질 필요를 느낀다. 과학이란 무엇인가? 아니 학문이란 무엇인가? 그것은 차이를 위한 차이의 수사로 과연 적합한 것인가? 철학자 알랭 바디우의 말처럼 차이들이란 이미 주어진 어떤 것이 아니던가? 학문이란 모름지기 그런 차이 속에서 공통성을 추출하고, 공식을 발견하여 구성하고, 그를 통해 예측을 시도하는 것이 아니던가? 이 <카오스>라는 책을 통해 비교적 최근의 과학적 성취의 내용을 살펴보고 과연 앞서 언급한 ‘현대적’ 이미지와 그 내용이 부합하는지 고찰해 보도록 하자.

카오스 이론은 하나의 공식이론이 아니라, 여러 통찰과 공식들이 모여 큰 그림을 그리는 콜라주에 가깝다고 할 수 있다. 그래서 수많은 과학자들이 다양한 연관을 가지며 이 이론에 기여하고 있다. 그동안 우리에게 익숙한 선형적 세계(정량적 예측이 정확히 가능한 분명한 세계)가 아니라 비선형적 세계에 접근하는 다양한 학문적 시도들이기 때문이다.

카오스 이론을 잘 소개한다는 이 <카오스>라는 책은 1987년 작으로, 뉴욕타임즈의 과학 기자인 제임스 글릭(James Gleick)에 의해 써졌다. 200여 명의 과학자를 인터뷰하고, 수천 편의 논문을 검토하여 당시 부상하던 이 이론에 대해 대중적으로 훌륭한 소개를 했다는 평을 받았다. 과학 전문가가 쓴 책이 아니라서, 다소 산만한 감이 없지는 않지만, 오히려 그렇기 때문에 카오스 이론에 대한 전반적 스케치로서 긍정적 평가를 받을 만하다.

앞서 말한 바처럼 카오스 이론에는 수많은 과학자가 연루되어 있다. 하지만 대표적인 과학자들의 성취를 일별하면서 이 이론에 대한 모습을 스케치 해보자.

1950~60년대에는 사람들이 기상예측에 대해 지나치게 낙관적이었다. 신문과 잡지에서는 날씨에 대하여 단순히 예측만이 아니라 조정과 통제까지 기대했다. 당시 디지털 컴퓨터와 인공위성이라는 두 가지 기술이 새롭게 발전하고 있었다. 그 두 가지를 이용하여, 세계 대기연구 프로그램(Global Atmosphere Research Program)이라는 국제적인 계획이 준비 되었다. 이를 통해 인간사회가 날씨의 변덕스러움으로부터 해방되고, 그것의 희생자가 아니라 지배자가 될 것이라고 생각했다. 비행기가 구름의 씨를 뿌릴 것이며, 과학자들은 비를 내리고 멈추는 방법을 알게 될 것이다 등등.

이러한 대중적인 인식의 선구자는 폰 노이만이었는데, 그가 컴퓨터를 만든 목적 중의 하나도 바로 기상 통제를 하자는 것이었다. 그의 낙관론에는 수학적인 이유가 있었다. 그는 복잡한 동력학 계는 불안정한 지점을 가질 수 있다는 사실을 알고 있었다. 그 불안정한 지점에서는 작은 충격으로 큰 변화를 가져올 수 있다. 이것은 마치 언덕 꼭대기에 균형을 잡고 있는 공처럼 비유될 수 있다. 폰 노이만은 과학자들이 컴퓨터를 이용하면 어렵지 않게 유체 운동방정식을 계산할 수 있을 것이라고 생각했다. 그러면 기상학자의 중앙위원회가 기상을 원하는 형태로 바꿀 수 있다고 예상했다. 그러나 폰 노이만은 복잡한 동력한 계가 모든 지점에서 불안정성을 갖는 카오스의 가능성을 간과했다. 

‘나비 효과’라는 말은 기상학자 에드워드 로렌츠에 의해 만들어진 말이다. 이 용어는 미국 워싱턴 DC에서 열린 모임에서 로렌츠가 발표한 논문의 제목 <브라질에 있는 나비의 날갯짓이 텍사스 주에 토네이도를 일으킬 수 있을까?>에서 따온 것이다. 기후(혹은 다른 복잡계)의 초기 조건에 대한 민감성을 보통 ‘나비 효과’라고 한다. 그 나비 효과의 발견은 우연적 사건이었다. 

 

그는 회오리바람이나 열대성 저기압 같이 대기에서 발생하는 운동형태가 언제나 수학적 법칙을 따르면서도 결코 똑같이 반복되지 않는 것에 대해 큰 흥미를 느꼈다. 대기와 물의 운동을 나타내는 방정식은 행성의 운동을 나타내는 방정식만큼이나 잘 알려져 있다. 행성운동이나 우주선과 미사일의 궤도를 정확하게 계산해 내듯이, 바람과 구름에 대해서는 그럴 수가 없는가 하는 의문을 품었다. 그래서 로렌츠는 대기를 매우 단순화시켜 12개의 비선형 방정식으로 구성된 기후 모델을 만들어서 실험을 하였다. 결과치를 출력하기 위하여 수를 반올림하여 소수점 3자리까지만 인쇄하도록 프로그래밍했다. 최대 1000분 1정도 차이는 의미가 없다고 생각하고 반올림한 3자리 숫자를 입력하게 만든 것인데, 그것은 합리적인 가정이었다. 만일 기상위성이 해수의 표면 온도를 1000분의 1오차 범위 내에서 읽어낼 수 있다면, 위성의 운용자들은 운이 좋다고 생각할 것이기 때문이다. 시뮬레이션을 6시간씩 돌렸고 1분은 하루의 일기에 해당했다.

로렌츠는 이미 시뮬레이션을 해 본 부분을 더 긴 시간 동안 계산해보기로 했다. 컴퓨터가 처음부터 시작해 관심 구간에 이를 때까지 기다리는 대신 로렌츠는 지난 번 계산 때 얻은 출력 인쇄물에 적힌 중간 부분 값을 출발 변수의 값으로 컴퓨터에 입력했다. 컴퓨터가 두 달에 해당하는 기후를 시뮬레이션 하는 데에는 한 시간이 걸렸다. 그런데 인쇄되어 나온 숫자가, 이전의 계산에서 얻은 숫자와 전혀 다름을 발견했다. 두 결과물을 자세히 비교해 보니 두 번째 결과가 첫 번째 결과의 해당 부분이 처음에는 같게 나오다가 시간이 갈수록 점점 더 차이가 심하게 나는 것을 발견했다. 

로렌츠는 두 번째 계산 때에는 중간결과를 소수점이하 3자리의 숫자를 입력했다. 그러나 컴퓨터 내부에서는 소수점 이하 6자리까지 계산이 가능하다. 예를 들어 로렌츠가 0.506으로 입력한 값이 첫 번째 계산에서 실제로는 0.506127이었다. 모형이 초기 조건에 민감하기 때문에 1/1000의 차이가 시간이 흐르면서 두 계산 결과를 완전히 달라지게 만들었던 것이다. 로렌츠의 기후 모델 프로그램은 결정론적인 방정식을 사용한 것이다. 그래서 초기조건이 약간 달라지면 기후도 약간만 다르게 나타날 것이라고 예상했다. 수치상의 작은 오차(1/1000이하)는 한 줄기 미풍과 같은 것이기 때문이다. 그러나 로렌츠의 특정한 방정식 계에서는 작은 오차가 대단한 변화를 초래한다는 것이 입증됐다. 그는 장기 기상예측이 불가능하다고 단정했다.

만일 로렌츠의 업적이 예측가능성을 임의성으로 전환시키는 ‘나비 효과’만을 발견하는 것으로 그쳤다면, 그의 성취는 큰 의미가 없었을 것이다. 하지만 로렌츠는 기상 모델에 잠재되어 있는 임의성으로 ‘가장한’ 질서를 포착하고자 했다. 그는 비슷하게 반복되기는 하지만 결코 똑같이 반복되지 않는 계들에 대한 수학적 해석에 더 관심을 기울였다.

로렌츠는 처음의 기후 모델을 옆으로 제쳐놓고, 이러한 복잡한 형태를 자아내는 좀 더 단순한 방식(모델)을 모색했다. 그는 단지 3개의 방정식으로 이루어진 계에서 그것을 발견했다. 그것은 비선형적이며 따라서 정확하게 비례하지 않는 관계이다. 선형 관계는 그래프에서 직선으로 나타낼 수 있으며 생각하기가 쉽다. 선형방정식은 풀 수 있다. 

비선형계는 일반적으로 풀 수 가 없고 서로 합칠 수도 없다. 비선형이란 우리가 어떤 게임을 하는 것 자체가 그 게임의 룰을 변화시키는 것을 의미한다. 가령 동력학 계에서 마찰 항은 비선형 항에 해당한다. 마찰 항이 없다면, 단순한 선형방정식에 의해 하키의 퍽을 가속시키는데 필요한 에너지를 선형적 계산을 통해 쉽게 알 수 있다. 마찰을 고려하면 관계가 복잡해지는데, 퍽이 얼마나 빨리 움직이느냐에 따라 필요한 에너지가 비선형적으로 달라지기 때문이다. 

로렌츠의 세 방정식에 기초가 된 것은 특정한 유체운동이었는데, 그것은 뜨거운 기체나 액체의 상승, 즉 대류였다. 로렌츠는 대류에 관한 방정식을 철저히 분해해서 핵심과 관계없는 모든 항을 제거하여 매우 단순한 형태로 만들었다. 로렌츠 방정식을 쉽게 설명하는 다른 계는 일종의 수차인데, 이것은 대류회전과 역학적으로 비슷하다. 물이 위로부터 수차의 바깥 테두리에 걸쳐 있는 물통으로 일정한 속도로 떨어진다. 각 물통 밑에는 작은 구멍들이 있어 물이 일정한 속도로 새나간다. 물의 흐름이 느리다면 꼭대기의 물통은 마찰을 극복할 정도의 무게가 될 만큼 채워지지 않을 것아서 수차는 가만히 있을 것이다. 흐름이 더 빠르다면 물통에 담긴 물의 무게에 의해 수차가 돌기 시작한다. 회전은 계속될 것이다. 흐름이 너무 빨라진다면, 수차가 너무 빨리 회전하여 물이 채워질 시간이 거의 없을 것이며 동시에 물통의 물이 충분히 비워지지 않은 채로 바닥을 지나쳐서 반대쪽으로 오르기 시작한다. 그러면, 결국 위로 움직이고 있는 무거운 물통은 회전속도가 느려지다가 정지한 다음 방향이 역전될 것이다. 

카오스를 알기 이전의 단순한 동력한 계에 대한 물리학자의 직관에 의하면, 장기간에 걸쳐 물의 흐름이 변화하지 않을 경우 일정한 상태(steady state)가 생겨날 것이었다. 수차는 일정한 속도로 회전하고 일정 기간은 한쪽 방향으로 회전할 것이다. 그러나 로렌츠는 그렇지 않다는 사실을 발견했다. 수차가 장기간에 걸쳐 여러 번 방향을 바꿀 수 있고, 속도도 일정하지 않으며, 그 형태를 예측할 수도 없다는 것을 발견한 것이다. 카오스에 관한 수천 종의 문헌 가운데 이러한 내용을 처음 밝혀낸 로렌츠의 <결정론적인 비주기적 흐름> (Deterministic Nonperiodic Flow)만큼 자주 인용되는 것은 거의 없다고 한다.

로렌츠의 방정식이 널리 알려진 후에 몇몇 과학자들은, 구식 발전기에서 전류의 흐름이 어떤 조건에서 스스로 역전하는 현상이나, 지구의 자장이 역사상 수차례 돌발적으로 역전했던 사실을 새롭게 이해할 수 있었다고 한다. 지구 자장 변화의 설명할 수 없는 불규칙성에 대해 이론가들은 일반적으로 운석의 충돌 같은 외부 원인 때문일 것으로 추정했었다. 그러나 지구의 자장은 자기 자신의 카오스를 갖고 있었던 것이다.  

수학에 친숙한 20세기의 생물학자들은 생명체의 소리와 색깔을 배제하고 단순한 동력한 계로서 개체군을 다루는 학문인 수리생태학을 정립했다. 그들은 생명체의 감소와 번성을 기술하기 위해서 수리물리학의 기초적 방법을 사용했다. 

로지스틱 방정식(logistic equation)이라는 단순한 방정식이 있다. 이것은 개체군 성장의 단순한 모델로 고안된 방정식으로서, 개체군의 총수가 한 세대로부터 다음 세대로 어떻게 변화하는지를 잘 기술해 준다. 방정식을 단순하게 하기 위해 겨울에 알을 낳은 성충은 다 죽고 다음 해 봄에 새 세대가 알에서 깨어 나오는 곤충을 다룬다고 가정할 필요가 있다. ｘ마리의 개체수로부터 출발하면, 다음 세대의 개체수는 깨어날 알의 수(출생률)에 의존할 것이다. 따라서 평균적으로 그 개체가 r개의 알을 낳는다면 새 개체수는 rx가 된다. 여기에다 제한된 환경에 의해 먹이를 얻지 못해 다음 세대를 생산하지 못하는 개체를 고려해야 한다. 개체수가 많을수록 충분한 먹이를 얻기가 힘들어진다. 이를 고려하기 위해 성장인자 rx에 새로운 항 (1-x)를 곱한다. 추상화된 이 모델에서 개체수는 편의상 0과 1사이의 소수로 표시한다. 0은 멸종을 의미하고, 1은 주어진 환경 속에서 가능한 최대치를 의미한다. r(출생률)값이 달라질 경우 개체수가 어떻게 변화하는지 알아보기 위한 식은 다음과 같다. 

여기서 xnext는 다음 세대의 개체수이다. 이 수학식의 오른쪽을 곱해 풀어쓰면 rx-rx²이 되는데, 이 방정식으로부터 이 과정이 x²항 때문에 비선형적일 뿐만 아니라 반복계산을 통해 피드백이 작용함을 알 수 있다.

로버트 메이는 이 로지스틱 방정식을 이용해서, 단일 개체군이 시간 경과에 따라 어떤 형태를 보이는가 하는 문제를 연구하게 되었다. 매개변수 r(출생율)이 점점 커지면 어떤 일이 일어날까? 커졌다 작아졌다 하는 개체수의 증가율이 어떤 임계점을 지나면 무슨 일이 일어날까? 메이는 프로그램을 만들어 피드백 고리를 작동하게 하고 매개변수 r의 값을 수백 번씩이나 바꾸어가며 숫자의 열이 어떤 값으로 귀착되는지, 또 과연 귀착되기는 하는지 면밀히 조사했다. 매개변수의 값을 변화시켜 봄으로써, 메이는 그 계의 특성이 극적으로 변화할 수 있다는 것을 발견했다.  

그 결과는 다음과 같았다. r이 1보다 작다면 다음 세대에 자손을 생산하지 못하는 개체가 있음을 의미한다. 그 개체들은 결국 모두 사라지게 된다. r이 1보다 크고 3보다 작다면 개체수는 일정한 수에 머문다. 시작한 개체수의 값이 무엇이든지 상관없이(x는 0과 1사이의 어느 값도 가능하다) 여러 세대를 거치면 x는 일정한 값, 즉 일정한 개체수에 머문다. r이 증가할수록 x가 머무는 값 역시 증가한다. r이 3에 가까워지면 최대로 가능한 개체수인 2/3, 즉 0.66에 머문다. 

r이 3보다 커지자마자 패턴이 갑자기 변화한다. 충분히 반복 계산을 하면 개체수가 교대로 2개의 다른 일정한 값을 보여주는 것이다. 시간에 따른 개체수의 변화의 모양이 주기가 1에서 2로 변화한 것이다. r이 3에서 쌍갈림(bifurcation)이 생기는 것을 발견한 후, r을 더 증가시키면서 놀라운 결과를 볼 수 있다. r이 3.4495가 되면 쌍갈림을 통해 소리 굽쇠의 모양이 되었던 것이 다시 쌍갈림을 일으켜, 계가 4개의 다른 개체수(주기 4) 사이에서 진동을 한다. r이 3.56일 때는 또 다시 둘로 갈라져 개체수가 8개의 다른 값을 넘나들었고, r이 3.596일 때 또 다른 주기배가가 일어나 16개의 다른 개체수 사이에서 진동을 했다. r값이 증가할수록 쌍갈림이 일어나는 위치가 점점 가까워졌다. 메이의 초기 연구를 보면 3.56999에서 개체수가 가질 수 있는 결과의 수가 무한대가 되어 진짜 카오스를 보게 된다. 

이 방정식에는 그 이상의 내용이 숨겨져 있다. B가 3.56999보다 클 때에는 거의 대부분 카오스를 보이지만 다시 질서가 나타나는 좁은 범위의 r값이 존재한다. 이것은 카오스 속에 있는 일종의 창문과 같다. 예를 들어 r이 3.8보다 조금 크고 3.9보다 조금 작을 경우 계는 r이 3보다 작을 때를 닮은 안정된 상태를 보이는 구간이 나타난다. 그러나 r을 다시 증가시키면 또다시 반복된 쌍갈림에 이어 카오스가 나타난다. 메이는 이 사실이 생태학 이상의 것을 내포하고 있음을 깨닫고, 발견한 내용을 1976년에 과학 학술지인 <네이처(Nature)>에 논문으로 발표했다.

메이가 로지스틱 방정식을 통해 발견한 내용은 군집생물학에 논쟁의 도화선이 되었다고 한다. 1970년대 초반에 생태학 분야에서 일어난 중심적인 논쟁은 개체수 변화의 성격과 연관이 있었다. 일부 연구자들은 개체 수는 규칙에 따르며 안정적이라고 보았다. 또 다른 사람들은 개체수는 불규칙하게 변동한다는 것이다. 개체수가 안정적이라고 믿는 사람들은 어떤 결정론적인 메커니즘에 의해 조절되는 것이 틀림없다고 주장했다. 개체수가 불규칙하다고 믿는 사람들은 어떤 결정론적인 계가 존재한다 할지라도 그것을 압도하는 예측 불가능한 환경적 요소에 의해 개체수가 좌우된다고 주장했다. 결정론적인 모델이 안정적인 형태를 만들어 내든가 임의의 외적 요소가 임의적인 형태를 만들어 내든가 둘 중 하나였다. 

그러한 논쟁의 와중에 메이가 발견해 낸 개체군 변화의 카오스는 놀랄 만한 메시지를 전해 주었다. 즉 단순하면서도 결정론적인 모델이 임의적인 형태처럼 보이는 것을 만들어 낼 수 있다는 것이다. 

미첼 파이겐바움은 이런 카오스 속에 더 큰 의미가 있음을 보여주었다. 그는 로지스틱 방정식만이 카오스로 가는 ‘주기 배가’ 경로를 보이는 것이 아니라 피드백이 걸린 계(동물들의 개체수, 전자회로의 진동자, 경제활동의 주기)가 반복 과정을 거칠 때 자연스럽게 나타나는 산물임을 보였다. 중요한 점은 계가 자기 참조적(self-referential)이어야 한다는 것이다.

파이겐바움은 메이가 연구한 카오스로 가는 경로에서 r이 증가할수록 주기 배가 사이의 간격이 어떻게 변화하는지 자세히 조사했다. 그는 한 간격과 다음 간격 사이에 일정한 비가 존재함을 발견했다. 이 비율은 4.669:1이었다. 이런 행동패턴은 기하학적 수렴성이라고 하는데 이유는 임계값에 점점 더 가까워지지만 완전히 임계값에 이르지 못하기 때문이다. 파이겐바움은 그가 조사한 모든 자기 참조적 계에서 주기 배가 쌍갈림과 동일한 기하학적 수렴성이 나타나는 것을 발견했다. 단순히 유사한 종류의 수렴성이 아니라 정확히 4.669:1의 비를 가진 동일한 기하학적 수렴성을 발견한 것이다. 그는 보편적 진리를 발견했다는 극찬을 받았으며 신비스러운 수 4.669(이 수를 파이겐바움 수라고 하는데, 사실 이 수는 π와 같은 무리수이다. 더 자세히는 4.6692016090… )에 그의 이름이 붙여졌다. 

파이겐바움 수는 주기배가가 언제 일어날 것인가를 예측할 수 있게 해준다. 파이겐바움은 일종의 보편성이론을 만들어 냈다. 보편성은 서로 다른 계들이 동일한 형태를 보인다는 것을 의미한다. 파이겐바움은 간단한 수 함수들을 연구했지만, 그의 이론은 질서와 무질서 사이의 전이과정에 있는 계에 대한 자연법칙을 나타내고 있었다.

베노이트 만델브로트는 영국의 과학자 루이스 리처드슨의 사후에 발표된, 별로 알려지지 않은 논문에서 해안선 문제를 우연히 발견했다. 그는 해안선과 구불구불한 국경선에 의문을 느끼면서 스페인과 포르투갈 그리고 벨기에와 네덜란드의 백과사전들을 검토했는데, 국경선 길이에 20퍼센트의 차이가 있다는 것을 발견했다. 

만델브로트는 측정 단위가 작아짐에 따라 해안선의 길이는 한없이 커진다는 것을 발견했다. 만과 반도는 그보다 더 작은 만과 반도를 포함하며, 최소한 원자규모로 내려가야 그 과정이 모두 끝날 것이다. 

 길이, 깊이, 두께 등을 측정하는 유클리드식 측정 방법으로는 국경선이나 해안선 같은 불규칙한 형상의 본질을 나타낼 수 없기 때문에, 만델브로트는 다른 생각, 즉 차원(dimension)이라는 개념으로 관심을 돌렸다. 만델브로트는 0, 1, 2, 3 … 이라는 정수차원을 넘어서서 있을 수 없을 것같이 보이는 소수차원을 고안했다. 

만델브로트는 어떤 모양을 구성하는 기법이나 어떤 자료가 주어질 경우에 실제 물체의 소수 차원을 계산하는 방법을 자세히 기술했다. 그는 자신이 생각한 형상, 차원 및 기하학에 프랙탈(fractal)이라는 이름을 붙였다.

코흐 곡선(Koch curve)을 통해 이러한 소수차원의 프랙탈을 이해해보자. 각 변의 길이가 30cm인 삼각형이 있다고 가정하고 여기에 쉽게 반복할 수 있는 변형 법칙을 생각해보자. 각 변을 삼등분하여 중앙 1/3에 모양은 동일하고 한 변의 길이는 1/3인 새 삼각형을 붙여 보자. 결과는 다윗의 별이 된다. 세 개의 30cm짜리 변 대신에 12개의 10cm짜리 변이 생겨난다. 뾰족한 점이 6개로 늘어난다. 12개의 각 변에서 다시 반복하여 중앙의 1/3에 더 작은 삼각형을 붙이는 변형을 계속해 보자. 변형이 계속될수록, 이것은 세밀한 눈송이와 유사해 지는데, 그것을 코흐 곡선이라고 부른다. 이 코흐 곡선은 몇 가지 흥미 있는 특징을 가지고 있다. 각 변형에 의해 도형 내부에 작은 면적이 더해지지만, 전체 면적은 유한하며 실제로 원래 삼각형보다 별로 커지지 않는다. 원래의 삼각형에 외접원을 그리면 코흐 곡선은 결코 그 밖으로 나가지 않는다. 

그러나 곡선 자체의 길이는 무한히 길다. 한 번의 변형에 의해 길이가 1/3씩 늘어나 총길이가 원래의 길이와 합쳐져 1+1/3=4/3이 된다. 한 변의 길이가 30cm인 삼각형에서 변형이 n번 진행되면, 변형된 도형의 총길이는 0.9×(4/3)ⁿ 미터가 된다. 변형의 횟수(n)가 무한히 진행될 수록으로, 변의 길이는 무한대가 된다. 유한한 공간 내에 있는 무한한 길이라는 역설적인 결과를 낳는 것이다. 

유클리드 기하학의 단순한 1차원 선은 공간을 전혀 채우지 못한다. 그러나 유한한 면적에 무한한 길이를 가지고 있는 코흐 곡선은 공간을 채운다. 그것은 선 이상이지만 평면 이하의 것이다. 그것은 1차원 이상이지만 2차원 이하이다. 20세기 초 수학자들에 의해 만들어진, 그러나 거의 잊혀진 기법을 이용해서 만델브로트는 소수 차원을 정확하게 계산했다. 코흐곡선은 무한히 4/3배로 늘어나게 된다. 코흐 곡선에서 길이를 4로 나누고 축적을 3을 곱하면 같은 모양이 된다. 그럼 3의 ‘몇(d라고 하자)' 제곱이 4가 될까? 계산기를 사용하여 소수점 4자리까지 계산하면(d=log4/log3임으로) 코흐 곡선은 1.2619차원임을 확인할 수 있다.  

만델브로트는 면화가격, 전송 소음 그리고 하천홍수 문제를 연구하면서 점차로 머릿속에 그려 온 실재의 형상을 갖고 있었다. 자연의 불규칙한 패턴에 대한 연구와 무한히 복잡한 형상에 관한 탐구에는 지적인 교차점이 있었는데, 그것은 바로 자체유사성(self-similarity)이었다. 프랙탈이란 결국 자체적으로 유사함을 의미했다. 

자체유사성은 모든 축척을 관통하는 대칭성이다. 그것은 회귀, 즉 패턴 안의 패턴을 의미한다. 가격 변동표와 하천수위 변동표도 자체유사성을 보여주는데, 왜냐하면 축척이 아무리 작아지더라도 도표는 유사한 패턴을 나타내고 복잡성의 정도도 일정하기 때문이다. 코흐곡선도 자체 유사성을 보이는데, 그것은 크게 확대하더라도 똑같은 모양을 나타내기 때문이다.

프랙탈 차원은 서로 접촉하고 있는 표면의 특성과 관련된 일련의 문제들에 직접 적용할 수 있다는 것이 밝혀졌다. 예를 들면 타이어와 콘크리트 접촉면이 바로 그러한 문제이다. 표면에서의 접촉은 구성 물질과는 전혀 무관하며 각 물질의 울퉁불퉁한 프랙탈 성질에 좌우된다는 것이 판명되었다. 표면에 관한 프랙탈 기하학의 단순하지만 강력한 결론은, 접촉하고 있는 표면들이 완전하게 다 붙어 있지는 않다는 것이다. 여러 가지 크기의 혹들이 서로 붙는 것을 방해한다. 깨진 찻잔의 두 조각을 잘 맞출 수 있는 것 같으면서도 다시 붙일 수 없는 이유가, 바로 이와 같이 미세하게 보면 불규칙한 혹들 때문에 서로 일치하지 않는다. 

이론생물학자들은 프랙탈 축척이 형태형성에서 자주 볼 수 있는 정도가 아니라 보편적이라고 생각하게 되었다. 프랙탈이라는 단어는, 눈송이 곡선으로부터 불연속적인 은하계의 먼지에 이르기까지 불규칙하고 조각나 있으며 들쭉날쭉한 형상에 대해 묘사하고 계산하며 생각하는 방법을 나타내는 말이 되었다. 프랙탈 곡선은 그러한 현상의 엄청난 복잡성 사이에 숨어 있는 조직적인 구조를 암시한다. 

이론물리학은 난류현상에 대하여 일종의 냉담함을 보여 왔다고 한다. 실제로 과학은 땅 위에 선을 하나 그어놓고 이 선 너머로 갈 수 없다고 선언한 셈이었다. 순조로운 흐름이거나 층류인 경우, 작은 교란이 생기더라도 곧 사라진다. 하지만 난류가 시작되면 교란은 폭발적으로 커진다. 이러한 시작, 즉 이러한 전이는 과학에서 중대한 미스터리로 여겨졌다. 개천의 바위 바로 뒤에서는 물의 흐름이 소용돌이 되어 커지다가 쪼개지고 빙빙 돌면서 하류로 흘러간다. 재떨이에 놓인 담배에서 나오는 연기는 처음에는 순조롭게 피어오르면서 가속되다가 임계속도를 지나면 여러 갈래로 쪼개져 거친 소용돌이가 된다. 난류의 발생은 실험실에서 관찰되고 측정될 수 있다. 하지만 그것의 속성은 여전히 이해하기가 쉽지 않았다. 

그러면 난류란 무엇인가? 그것은 모든 축척에서의 무질서 상태이며, 큰 소용돌이 속의 작은 소용돌이이다. 그것은 불안정하다. 그것은 에너지를 소모시키고 항력을 생성시킨다는 점에서 매우 분산적이다. 그것은 아무렇게나 움직이는 운동이다. 그런데 ‘어떻게’ 순조로운 흐름이 난류로 바뀌게 되는가? 난류 문제에 대한 관심은 언제나 실용적인 면이 앞서 있었다. 그 관심도 일면적이었다. 즉 어떻게 하면 난류를 없앨 것인가 하는 점에 한정되어 있었다.

수리물리 연구자인 다비드 루엘은 난류가 왜 분석되지 않는 가를 이해하는 것은 쉬운 일이라고 생각했다. 유체운동 방정식은 비선형 편미분방정식이기 때문이다. 그것은 특별한 경우를 제외하고는 풀리지 않는다. 그는 수학자 플로리스 타켄트와 공동으로 논문을 집필하여 1971년에 발표했다. <난류의 본질에 관하여>라는 제목이었다. 그들은 단지 세 개의 독립된 운동이 난류의 복잡성을 완벽하게 만들어낸다고 주장했다. 수학적으로 보면 그들의 논리는 문제가 없지 않았으나, 그들의 통찰력과 논문 속에 들어 있는 물리학적 개념에 의해 그 논문은 오래도록 생명력을 갖게 되었다. 그 중에서도 가장 매혹적인 것은 필자들이 ‘스트레인즈 어트랙터’(strange attractor)라고 이름 붙인 현상이었다. 이 스트레인즈 어트랙터는 현대 과학의 가장 강력한 창작물 중 하나인 위상공간에 존재한다. 위상공간은 기계적이건 유동적이건 간에 움직이는 계로부터 본질적인 모든 정보를 숫자로 추상화하여 그림으로 바꾼 것이다. 그리하여 계의 모든 가능성을 나타내는 유연한 지도를 만들 수 있다. 

어떻게 복잡한 계에 관한 정보를 한 점으로 나타낼 수 있는가? 만일 계가 두 개의 변수만 가졌다면 그 답은 간단하다. 하나의 평면위에 있는 수평선 위에 한 변수 그리고 수직선 위에 한 변수를 설정하면 된다. 만일 그 계가 마찰 없이 흔들리는 추라면, 하나의 변수는 위치를 나타내고, 다른 변수는 속도를 나타낸다. 그것을 표시하는 점은 끊임없이 변하여 영원히 일정한 궤도의 원형의 루프를 반복해서 그릴 것이다.

마찰을 고려하면 그림이 달라진다. 마찰력이 작용하는 추의 운명을 알기 위해서는 운동방정식 같은 것은 필요가 없다. 모든 궤도는 결국 동일한 장소, 즉 위치 제로, 속력 제로인 위상공간의 원점에서 끝나게 마련이다. 이 중심의 고정점이 궤도를 유인하는 끌개(attractor)이다. 영원히 루프를 그리는 대신에 궤도는 안쪽을 향해 나선형으로 감겨든다. 마찰 때문에 계의 에너지가 분산되는데, 위상공간에서 그 분산은 고에너지인 바깥에서 저에너지인 안쪽으로, 즉 중심으로 끌려들어가는 것으로 표시된다. 

카오스적 운동을 보이는 대류(혹은 수차)를 설명하기 위한 로렌츠의 앞서 언급된 모델도 3개의 독립된 변수를 갖기에 3차원 위상공간에 나타낼 수 있다. 이것이 그 유명한 로렌츠 어트랙터로서, (위상공간 내의 점 운동 궤적을 누적해서 나타내면) 나비 날개 한 쌍과 유사한 국소적으로 특이하게 편재하는 모습을 보인다. 카오스적 운동이 위상공간 내에서는 무작위적 모습이 아니라, 일정 공간에 갇힌 모습을 보이는 것을 ‘이상한 끌개’라는 뜻의 ‘스트레인즈 어트랙터’라고 불렀다. 스트레인즈 어트랙터도 끌개이긴 끌개여서 안정된 모습을 보이지만, 비주기적이기 때문에 ‘이상한’ 끌개라는 명칭이 붙은 것이다.

위상공간에 계의 움직임을 나타내는 방식은, 그렇게 하지 않았다면 관찰할 수 없었을 운동의 형태들을 보여준다. 변수간 조합이 이루어지는 영역을 국소화시켜 보여줄 수 있었기 때문이다. 이 같은 스트레인즈 어트랙터는 안정된 상태에 있고, 저차원이며, 비주기적이다. 그것은 스스로를 교차하지 않는다. 비주기적이기 때문이다. 스트레이즈 어트랙터의 루프와 나선들은 무한히 길고 교차하지 않으면서 일정공간에 갇힌 채 유한한 공간 내에 있었다. 그래서 그것은 프랙탈과 유사한 것이다.

컴퓨터의 시뮬레이션이 가능해짐에 따라 제대로 스트레인즈 어트랙터를 실제로 보게 되었을 때, 사람들은 난류나 하늘에 떠 있는 구름 등 도처에서 이미 그것을 봐온 것 같다는 생각이 들었다. 자연은 제한을 받고 있으며, 무질서는 어떤 공통적인 내면적 테마를 갖는 패턴과 통하는 것같이 보였다. 

후에 스트레인즈 어트랙터에 대한 인식은, 수치적 탐구를 하는 이들에게 실행할 수 있는 명확한 프로그램을 제공함으로써 카오스 혁명에 기름을 부었다. 자연이 임의적으로 행동해 보이는 곳이면, 어디서나 스트레인즈 어트랙터를 찾아나섰다(지구의 날씨, 주식시장 등).

쉽게 계산되고 분류되는 선형 계와 달리 비선형 계는 여전히, 그 본질상, 분류가 불가능해 보였다. 각자는 다른 모든 것들과 달랐다. 그러나 측정을 하고 계산을 할 수 있는 단계가 되자 각 비선형 계는, 무작위적으로 발산하는 계가 아니라 (위상공간 내에서) 자기 내부로만 향한 세계임이 드러났다. 스트레인즈 어트랙터는 그것이 아니었으면 임의적으로 보였을 계의 안정성과 숨은 구조들을 보여주었던 것이다. 

윌리엄 섀퍼는 비주지적이지만 국한된 영역에 머물러있는 스트레인즈 어트랙터를 이용하여, 홍역과 수두 같은 질병의 역학을 연구했다. 그는 미국과 영국의 여러 지역에서 자료를 수집했다. 그는 감쇠력과 추진력이 작용하는 진자와 유사한 모델을 만들었다. 그 질병들은 매년 개학을 맞은 어린이들 사이의 감염에 의해 추진되고 자연적 저항에 의해 감쇠된다. 섀퍼의 모델은 이 질병들이 서로 현저히 다른 형태를 보일 것으로 예측했다. 수두는 주기적으로 변동하고, 홍역은 카오스적으로 변동할 것이다. 실제로 그 자료들은 홍역의 연간 변동을 임의적이고 소음투성이여서 도저히 설명할 수 없는 것으로 생각했다. 그런데 위상공간의 재구성이라는 방법을 사용한 섀퍼는, 홍역이 약 2.5라는 프랙탈 차원을 가진 스트레인즈 어트랙터에 따른다는 것을 확인하였다. 

이 어트랙터가 카오스적이라 할지라도 그 모델의 결정론적인 성격으로 인해 어느 정도 예측이 가능하다. 한해 홍역이 만연되면, 그 이듬해에는 뜸해진다. 중간 정도로 전염된 이듬해에는 전염 정도가 별로 변하지 않는 것이다. 그러나 낮은 정도로 전염된 해의 경우, 그 다음 해를 예측하기가 가장 어렵다. 섀퍼의 모델은 대규모 예방접종에 의해 홍역이 대폭 감소된 다음의 형태까지도 예측했다. 종래의 전염병 예방의학에서는 그런 예측을 도저히 할 수 없었다. 

우리가 배운 고전적인 결정론적 계가 임의적인 현상을 발생시킬 수 있다는 사실은 매혹적이다. 그런 것들은 초기조건에 의해 모든 것이 결정된다고 배워왔기 때문이다. 고전물리학으로 완전히 설명할 수 있다고 생각되던 보통의 물리적인 계에서 매개변수의 영역으로 한걸음만 들어가면 그처럼 선형적 분석이 전혀 적용될 수 없는 무언가에 부딪힌다는 사실은 아주 인상적인 일이었다. 

카오스 이론은 계의 전체적 본성에 관한 과학이기 때문에 과학들 사이의 경계선을 넘어 서로 떨어져 있던 분야를 함께 묶어가고 있다. 카오스 이론가들은 쿼크, 염색체, 신경세포 등 계의 구성요소로 계를 분석하는 기존의 환원주의적 경향을 넘어서 자신들이 전체를 보고 있다고 믿는다. 그들은 다양한 축척(scale)에서 동시에 나타나는 패턴을 보려고 하며 갑작스런 도약과 같은 무정형성과 복잡성을 분석하려고 한다.

카오스 이론은 우리가 보고 접촉하는 우주, 즉 일상적 차원에 적용된다. 일상의 경험과 현실세계의 실상이 연구 목표가 된 것이다. 카오스는 모든 곳에 존재하는 것 같다. 한 줄기 담배연기가 공중으로 올라가다가 거치게 소용돌이치며 흐트러진다. 물이 똑똑 떨어지는 수도꼭지에서 처음에는 물방울이 일정한 패턴으로 떨어지다가 갑자기 제멋대로 떨어지게 된다. 카오스는 날씨, 항공기의 비행, 고속도로에 무리를 지어 몰려 있는 차들의 행렬, 지하 송유관을 흐르는 석유의 흐름 속에서 나타난다. 

물리학 자체로 볼 때 카오스에 대한 연구는 침체된 분야에서 나타났다. 20세기의 대부분에 걸쳐 물리학의 주류를 이룬 것은 소립자물리학이었는데, 그것은 더 큰 에너지, 더 작은 규모, 더욱 짧은 시간 영역에서 물질의 구성단위를 탐구하는 학문이었다. 그러나 새로운 소립자의 발견이 드물어지고 발전 속도는 느려졌다. 카오스 이론의 등장으로 젊은 과학자들은 물리학 전반에 방향전환이 이루어지고 있다고 생각했다. 

카오스 이론이란 미래는 예측 불가능하며 세상은 요지경이라는 것을 말하는 것이 아니다. 고전적인 통상적 접근법으로 예측 불가능해 보이는 계를, 새로운 수학적 물리학적 방법으로 포착하려는 노력이 카오스 이론의 내용이다. <카오스>라는 이 책은 저널리스트의 책이다 보니 전반적 소개는 괜찮지만, 다소 난삽한 느낌을 지울 수 없다. 이에 비해 물리학자인 존 그리빈이 쓴 <딥 심플리시티>(Deep Simplicity)는 전문가답게 카오스 이론을 더 깔끔하게 정리해서 제시해준다. 그리고 카오스 연구와 연관되어, 생명탄생의 시원에 대한 연구의 모델링을 소개하는데, 경이로움마저 느낄 수 있다. 더불어 화학자이자 물리학자인 필립 볼의 <물리학으로 보는 사회>(Critical Mass: How One Things Leads to Another)도 카오스 이론 탄생 이후 그동안의 발전에 대한 중간보고서 격에 해당하는 방대한 성취의 결과물들을 우리에게 알려준다. 글릭의 <카오스> 이후의 후속작업에 관심 있는 분들에게 추천을 하고 싶다. 

과학자들에게 과학함이란 무엇일까? 어쩌면 비판받은바 있는 라플라스적 악마에게 한발 더 다가가는 것이 아닐까? 카오스 이론이 단지 예측 불가능성에 대한 것이라면, 그것은 단지 해체적 수사를 하나 추가하며, 이상한 세상에 대한 지적 무력함의 고백에 불과했을 것이다.

결정론적 세계관에 근거하는 근대적 과학에 대해, 카오스 이론을 비롯한 현대적 과학이 타격을 준다는 이미지는 단지 멀리서 무관심에게 바라봤을 때 가능한 시각이다. 상대성 이론은 오히려 뉴턴적 세계관에 가까운 얼어있는 시공간 일체성을 말하고 있으며, 움직이는 존재들 사이에 시공간의 상대성이 얼마나 제한되어 있는지를 정량적으로 제시한다. 양자역학도 확률적 함수로 표현되는 미시세계의 (무작위성이 아닌) 규칙성을 말하는 것이다. 카오스 이론 또한 기존의 이론들이 간과하던 더 방대한 영역인 비선형적 세계를 무대 전면에 등장시키며, 그 무질서해 보이는 세계에 내재하는 모종의 질서를 집요하게 탐구하고 있는 것이다. 

과학자들의 욕망은 존재론적으로 (라플라스의 악마는 불가능할지라도) 라플라스의 악마‘적’일 수밖에 없다. 설명할 수 없는 세계라는 이론의 실패 앞에서 계속 머물긴 그들의 체질이 아닌 것이다. 과학자들이 개인적으로 시를 좋아할 수 있지만 그렇다고 시인체질은 아니다. 설명 불가능성 속에서 주관적 풍부함을 꾀하는 것이 시인의 몫이라면, 과학자의 것은 설명 가능성을 통해 이루는 풍부함이라고 말하는 것은 지나친 이분법일까?