WebCore:
[WebKit-https.git] / WebCore / editing / markup.cpp
1 /*
2  * Copyright (C) 2004, 2005, 2006, 2007 Apple Inc. All rights reserved.
3  *
4  * Redistribution and use in source and binary forms, with or without
5  * modification, are permitted provided that the following conditions
6  * are met:
7  * 1. Redistributions of source code must retain the above copyright
8  *    notice, this list of conditions and the following disclaimer.
9  * 2. Redistributions in binary form must reproduce the above copyright
10  *    notice, this list of conditions and the following disclaimer in the
11  *    documentation and/or other materials provided with the distribution.
12  *
13  * THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
14  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
15  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
16  * PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
17  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
18  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
19  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
20  * PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
21  * OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
22  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
23  * OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE. 
24  */
25
26 #include "config.h"
27 #include "markup.h"
28
29 #include "CDATASection.h"
30 #include "CSSComputedStyleDeclaration.h"
31 #include "CSSPropertyNames.h"
32 #include "CSSRule.h"
33 #include "CSSRuleList.h"
34 #include "CSSStyleRule.h"
35 #include "CSSStyleSelector.h"
36 #include "CSSValueKeywords.h"
37 #include "Comment.h"
38 #include "DeleteButtonController.h"
39 #include "DeprecatedStringList.h"
40 #include "Document.h"
41 #include "DocumentFragment.h"
42 #include "DocumentType.h"
43 #include "Editor.h"
44 #include "Frame.h"
45 #include "HTMLElement.h"
46 #include "HTMLNames.h"
47 #include "InlineTextBox.h"
48 #include "KURL.h"
49 #include "Logging.h"
50 #include "ProcessingInstruction.h"
51 #include "QualifiedName.h"
52 #include "Range.h"
53 #include "Selection.h"
54 #include "TextIterator.h"
55 #include "htmlediting.h"
56 #include "visible_units.h"
57
58 using namespace std;
59
60 namespace WebCore {
61
62 using namespace HTMLNames;
63
64 static inline bool shouldSelfClose(const Node *node);
65
66 class AttributeChange {
67 public:
68     AttributeChange()
69         : m_name(nullAtom, nullAtom, nullAtom)
70     {
71     }
72
73     AttributeChange(PassRefPtr<Element> element, const QualifiedName& name, const String& value)
74         : m_element(element), m_name(name), m_value(value)
75     {
76     }
77
78     void apply()
79     {
80         m_element->setAttribute(m_name, m_value);
81     }
82
83 private:
84     RefPtr<Element> m_element;
85     QualifiedName m_name;
86     String m_value;
87 };
88
89 static inline void appendString(Vector<UChar>& result, const String& str)
90 {
91     result.append(str.characters(), str.length());
92 }
93     
94 static void appendAttributeValue(Vector<UChar>& result, const String& attr)
95 {
96     const UChar* uchars = attr.characters();
97     unsigned len = attr.length();
98     unsigned lastCopiedFrom = 0;
99
100     static const String ampEntity("&amp;");
101     static const String ltEntity("&lt;");
102     static const String quotEntity("&quot;");
103     
104     for (unsigned i = 0; i < len; ++i) {
105         UChar c = uchars[i];
106         switch (c) {
107             case '&':
108                 result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
109                 appendString(result, ampEntity);
110                 lastCopiedFrom = i + 1;
111                 break;
112             case '<':
113                 result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
114                 appendString(result, ltEntity);
115                 lastCopiedFrom = i + 1;
116                 break;
117             case '"':
118                 result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
119                 appendString(result, quotEntity);
120                 lastCopiedFrom = i + 1;
121         }
122     }
123     
124     result.append(uchars + lastCopiedFrom, len - lastCopiedFrom);
125 }
126     
127 static DeprecatedString escapeContentText(const String& in)
128 {
129     DeprecatedString s = "";
130
131     unsigned len = in.length();
132     unsigned lastCopiedFrom = 0;
133
134     const UChar* uchars = in.characters();
135     const DeprecatedChar* dchars = reinterpret_cast<const DeprecatedChar*>(uchars);
136
137     for (unsigned i = 0; i < len; ++i) {
138         UChar c = uchars[i];
139         if ((c == '&') | (c == '<')) {
140             s.append(dchars + lastCopiedFrom, i - lastCopiedFrom);
141             if (c == '&')
142                 s += "&amp;";
143             else 
144                 s += "&lt;";
145             lastCopiedFrom = i + 1;
146         }
147     }
148
149     s.append(dchars + lastCopiedFrom, len - lastCopiedFrom);
150
151     return s;
152 }
153
154     
155 static void appendEscapedContent(Vector<UChar>& result, pair<const UChar*, size_t> range)
156 {
157     const UChar* uchars = range.first;
158     unsigned len = range.second;
159     unsigned lastCopiedFrom = 0;
160     
161     static const String ampEntity("&amp;");
162     static const String ltEntity("&lt;");
163     
164     for (unsigned i = 0; i < len; ++i) {
165         UChar c = uchars[i];
166         if ((c == '&') | (c == '<')) {
167             result.append(uchars + lastCopiedFrom, i - lastCopiedFrom);
168             if (c == '&')
169                 appendString(result, ampEntity);
170             else 
171                 appendString(result, ltEntity);
172             lastCopiedFrom = i + 1;
173         }
174     }
175     
176     result.append(uchars + lastCopiedFrom, len - lastCopiedFrom);
177 }    
178
179 static inline void appendDeprecatedString(Vector<UChar>& result, const DeprecatedString& str)
180 {
181     result.append(reinterpret_cast<const UChar*>(str.unicode()), str.length());
182 }    
183     
184 static void appendQuotedURLAttributeValue(Vector<UChar>& result, String urlString)
185 {
186     UChar quoteChar = '\"';
187     if (urlString.stripWhiteSpace().startsWith("javascript:", false)) {
188         // minimal escaping for javascript urls
189         if (urlString.contains('\"')) {
190             if (urlString.contains('\''))
191                 urlString.replace('\"', "&quot;");
192             else
193                 quoteChar = '\'';
194         }
195         result.append(quoteChar);
196         appendString(result, urlString);
197         result.append(quoteChar);
198         return;
199     }
200
201     // FIXME this does not fully match other browsers. Firefox escapes spaces and other special characters.
202     result.append(quoteChar);
203     appendAttributeValue(result, urlString);
204     result.append(quoteChar);    
205 }
206     
207 static String stringValueForRange(const Node *node, const Range *range)
208 {
209     if (!range)
210         return node->nodeValue();
211
212     String str = node->nodeValue().copy();
213     ExceptionCode ec;
214     if (node == range->endContainer(ec))
215         str.truncate(range->endOffset(ec));
216     if (node == range->startContainer(ec))
217         str.remove(0, range->startOffset(ec));
218     return str;
219 }
220
221 static inline pair<const UChar*, size_t> ucharRange(const Node *node, const Range *range)
222 {
223     String str = node->nodeValue();
224     const UChar* characters = str.characters();
225     size_t length = str.length();
226
227     if (range) {
228         ExceptionCode ec;
229         if (node == range->endContainer(ec))
230             length = range->endOffset(ec);
231         if (node == range->startContainer(ec)) {
232             size_t start = range->startOffset(ec);
233             characters += start;
234             length -= start;
235         }
236     }
237     
238     return make_pair(characters, length);
239 }
240     
241 static inline void appendUCharRange(Vector<UChar>& result, const pair<const UChar*, size_t> range)
242 {
243     result.append(range.first, range.second);
244 }
245     
246 static String renderedText(const Node* node, const Range* range)
247 {
248     if (!node->isTextNode())
249         return String();
250
251     ExceptionCode ec;
252     const Text* textNode = static_cast<const Text*>(node);
253     unsigned startOffset = 0;
254     unsigned endOffset = textNode->length();
255
256     if (range && node == range->startContainer(ec))
257         startOffset = range->startOffset(ec);
258     if (range && node == range->endContainer(ec))
259         endOffset = range->endOffset(ec);
260     
261     Position start(const_cast<Node*>(node), startOffset);
262     Position end(const_cast<Node*>(node), endOffset);
263     Range r(node->document(), start, end);
264     return plainText(&r);
265 }
266
267 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesForElement(Element* element, bool authorOnly = true)
268 {
269     RefPtr<CSSMutableStyleDeclaration> style = new CSSMutableStyleDeclaration();
270     RefPtr<CSSRuleList> matchedRules = element->document()->styleSelector()->styleRulesForElement(element, authorOnly);
271     if (matchedRules) {
272         for (unsigned i = 0; i < matchedRules->length(); i++) {
273             if (matchedRules->item(i)->type() == CSSRule::STYLE_RULE) {
274                 RefPtr<CSSMutableStyleDeclaration> s = static_cast<CSSStyleRule*>(matchedRules->item(i))->style();
275                 style->merge(s.get(), true);
276             }
277         }
278     }
279     
280     return style.release();
281 }
282
283 static void removeEnclosingMailBlockquoteStyle(CSSMutableStyleDeclaration* style, Node* node)
284 {
285     Node* blockquote = nearestMailBlockquote(node);
286     if (!blockquote || !blockquote->parentNode())
287         return;
288             
289     RefPtr<CSSMutableStyleDeclaration> parentStyle = Position(blockquote->parentNode(), 0).computedStyle()->copyInheritableProperties();
290     RefPtr<CSSMutableStyleDeclaration> blockquoteStyle = Position(blockquote, 0).computedStyle()->copyInheritableProperties();
291     parentStyle->diff(blockquoteStyle.get());
292     blockquoteStyle->diff(style);
293 }
294
295 static bool shouldAddNamespaceElem(const Element* elem)
296 {
297     // Don't add namespace attribute if it is already defined for this elem.
298     const AtomicString& prefix = elem->prefix();
299     AtomicString attr = !prefix.isEmpty() ? "xmlns:" + prefix : "xmlns";
300     return !elem->hasAttribute(attr);
301 }
302
303 static bool shouldAddNamespaceAttr(const Attribute* attr, HashMap<AtomicStringImpl*, AtomicStringImpl*>& namespaces)
304 {
305     // Don't add namespace attributes twice
306     static const AtomicString xmlnsURI = "http://www.w3.org/2000/xmlns/";
307     static const QualifiedName xmlnsAttr(nullAtom, "xmlns", xmlnsURI);
308     if (attr->name() == xmlnsAttr) {
309         namespaces.set(emptyAtom.impl(), attr->value().impl());
310         return false;
311     }
312     
313     QualifiedName xmlnsPrefixAttr("xmlns", attr->localName(), xmlnsURI);
314     if (attr->name() == xmlnsPrefixAttr) {
315         namespaces.set(attr->localName().impl(), attr->value().impl());
316         return false;
317     }
318     
319     return true;
320 }
321
322 static void appendNamespace(Vector<UChar>& result, const AtomicString& prefix, const AtomicString& ns, HashMap<AtomicStringImpl*, AtomicStringImpl*>& namespaces)
323 {
324     if (ns.isEmpty())
325         return;
326         
327     // Use emptyAtoms's impl() for both null and empty strings since the HashMap can't handle 0 as a key
328     AtomicStringImpl* pre = prefix.isEmpty() ? emptyAtom.impl() : prefix.impl();
329     AtomicStringImpl* foundNS = namespaces.get(pre);
330     if (foundNS != ns.impl()) {
331         namespaces.set(pre, ns.impl());
332         static const String xmlns("xmlns");
333         result.append(' ');
334         appendString(result, xmlns);
335         if (!prefix.isEmpty()) {
336             result.append(':');
337             appendString(result, prefix);
338         }
339
340         result.append('=');
341         result.append('"');
342         appendAttributeValue(result, ns);
343         result.append('"');
344     }
345 }
346     
347 static void appendStartMarkup(Vector<UChar>& result, const Node *node, const Range *range, EAnnotateForInterchange annotate, bool convertBlocksToInlines = false, HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
348 {
349     bool documentIsHTML = node->document()->isHTMLDocument();
350     switch (node->nodeType()) {
351         case Node::TEXT_NODE: {
352             if (Node* parent = node->parentNode()) {
353                 if (parent->hasTagName(listingTag)
354                     || parent->hasTagName(scriptTag)
355                     || parent->hasTagName(styleTag)
356                     || parent->hasTagName(textareaTag)
357                     || parent->hasTagName(xmpTag)) {
358                     appendUCharRange(result, ucharRange(node, range));
359                     break;
360                 }
361             }
362             if (!annotate) {
363                 appendEscapedContent(result, ucharRange(node, range));
364                 break;
365             }
366             
367             bool useRenderedText = !enclosingNodeWithTag(const_cast<Node*>(node), selectTag);
368             DeprecatedString markup = escapeContentText(useRenderedText ? renderedText(node, range) : stringValueForRange(node, range));
369             if (annotate)
370                 markup = convertHTMLTextToInterchangeFormat(markup, static_cast<const Text*>(node));
371             appendDeprecatedString(result, markup);
372             break;
373         }
374         case Node::COMMENT_NODE:
375             appendString(result, static_cast<const Comment*>(node)->toString());
376             break;
377         case Node::DOCUMENT_NODE: {
378             // FIXME: I think the comment below (and therefore this code) is wrong now
379             // Documents do not normally contain a docType as a child node, force it to print here instead.
380             const DocumentType* docType = static_cast<const Document*>(node)->doctype();
381             if (docType)
382                 appendString(result, docType->toString());
383             break;
384         }
385         case Node::DOCUMENT_FRAGMENT_NODE:
386             break;
387         case Node::DOCUMENT_TYPE_NODE:
388             appendString(result, static_cast<const DocumentType*>(node)->toString());
389             break;
390         case Node::PROCESSING_INSTRUCTION_NODE:
391             appendString(result, static_cast<const ProcessingInstruction*>(node)->toString());
392             break;
393         case Node::ELEMENT_NODE: {
394             result.append('<');
395             const Element* el = static_cast<const Element*>(node);
396             bool convert = convertBlocksToInlines & isBlock(const_cast<Node*>(node));
397             appendString(result, el->nodeNamePreservingCase());
398             NamedAttrMap *attrs = el->attributes();
399             unsigned length = attrs->length();
400             if (!documentIsHTML && namespaces && shouldAddNamespaceElem(el))
401                 appendNamespace(result, el->prefix(), el->namespaceURI(), *namespaces);
402
403             for (unsigned int i = 0; i < length; i++) {
404                 Attribute *attr = attrs->attributeItem(i);
405                 // We'll handle the style attribute separately, below.
406                 if (attr->name() == styleAttr && el->isHTMLElement() && (annotate || convert))
407                     continue;
408                 result.append(' ');
409
410                 if (documentIsHTML)
411                     appendString(result, attr->name().localName());
412                 else
413                     appendString(result, attr->name().toString());
414
415                 result.append('=');
416
417                 if (el->isURLAttribute(attr))
418                     appendQuotedURLAttributeValue(result, attr->value());
419                 else {
420                     result.append('\"');
421                     appendAttributeValue(result, attr->value());
422                     result.append('\"');
423                 }
424
425                 if (!documentIsHTML && namespaces && shouldAddNamespaceAttr(attr, *namespaces))
426                     appendNamespace(result, attr->prefix(), attr->namespaceURI(), *namespaces);
427             }
428             
429             if (el->isHTMLElement() && (annotate || convert)) {
430                 Element* element = const_cast<Element*>(el);
431                 RefPtr<CSSMutableStyleDeclaration> style = static_cast<HTMLElement*>(element)->getInlineStyleDecl()->copy();
432                 if (annotate) {
433                     RefPtr<CSSMutableStyleDeclaration> styleFromMatchedRules = styleFromMatchedRulesForElement(const_cast<Element*>(el));
434                     style->merge(styleFromMatchedRules.get());
435                 }
436                 if (convert)
437                     style->setProperty(CSS_PROP_DISPLAY, CSS_VAL_INLINE, true);
438                 if (style->length() > 0) {
439                     static const String stylePrefix(" style=\"");
440                     appendString(result, stylePrefix);
441                     appendAttributeValue(result, style->cssText());
442                     result.append('\"');
443                 }
444             }
445             
446             if (shouldSelfClose(el)) {
447                 if (el->isHTMLElement())
448                     result.append(' '); // XHTML 1.0 <-> HTML compatibility.
449                 result.append('/');
450             }
451             result.append('>');
452             break;
453         }
454         case Node::CDATA_SECTION_NODE:
455             appendString(result, static_cast<const CDATASection*>(node)->toString());
456             break;
457         case Node::ATTRIBUTE_NODE:
458         case Node::ENTITY_NODE:
459         case Node::ENTITY_REFERENCE_NODE:
460         case Node::NOTATION_NODE:
461         case Node::XPATH_NAMESPACE_NODE:
462             ASSERT_NOT_REACHED();
463             break;
464     }
465 }
466
467 static String getStartMarkup(const Node *node, const Range *range, EAnnotateForInterchange annotate, bool convertBlocksToInlines = false, HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
468 {
469     Vector<UChar> result;
470     appendStartMarkup(result, node, range, annotate, convertBlocksToInlines, namespaces);
471     return String::adopt(result);
472 }
473
474 static inline bool doesHTMLForbidEndTag(const Node *node)
475 {
476     if (node->isHTMLElement()) {
477         const HTMLElement* htmlElt = static_cast<const HTMLElement*>(node);
478         return (htmlElt->endTagRequirement() == TagStatusForbidden);
479     }
480     return false;
481 }
482
483 // Rules of self-closure
484 // 1. No elements in HTML documents use the self-closing syntax.
485 // 2. Elements w/ children never self-close because they use a separate end tag.
486 // 3. HTML elements which do not have a "forbidden" end tag will close with a separate end tag.
487 // 4. Other elements self-close.
488 static inline bool shouldSelfClose(const Node *node)
489 {
490     if (node->document()->isHTMLDocument())
491         return false;
492     if (node->hasChildNodes())
493         return false;
494     if (node->isHTMLElement() && !doesHTMLForbidEndTag(node))
495         return false;
496     return true;
497 }
498
499 static void appendEndMarkup(Vector<UChar>& result, const Node* node)
500 {
501     if (!node->isElementNode() || shouldSelfClose(node) || (!node->hasChildNodes() && doesHTMLForbidEndTag(node)))
502         return;
503
504     result.append('<');
505     result.append('/');
506     appendString(result, static_cast<const Element*>(node)->nodeNamePreservingCase());
507     result.append('>');
508 }
509
510 static String getEndMarkup(const Node *node)
511 {
512     Vector<UChar> result;
513     appendEndMarkup(result, node);
514     return String::adopt(result);
515 }
516
517 static void appendMarkup(Vector<UChar>& result, Node* startNode, bool onlyIncludeChildren, Vector<Node*>* nodes, const HashMap<AtomicStringImpl*, AtomicStringImpl*>* namespaces = 0)
518 {
519     HashMap<AtomicStringImpl*, AtomicStringImpl*> namespaceHash;
520     if (namespaces)
521         namespaceHash = *namespaces;
522     
523     if (!onlyIncludeChildren) {
524         if (nodes)
525             nodes->append(startNode);
526         
527         appendStartMarkup(result,startNode, 0, DoNotAnnotateForInterchange, false, &namespaceHash);
528     }
529     // print children
530     if (!(startNode->document()->isHTMLDocument() && doesHTMLForbidEndTag(startNode)))
531         for (Node* current = startNode->firstChild(); current; current = current->nextSibling())
532             appendMarkup(result, current, false, nodes, &namespaceHash);
533     
534     // Print my ending tag
535     if (!onlyIncludeChildren)
536         appendEndMarkup(result, startNode);
537 }
538
539 static void completeURLs(Node* node, const String& baseURL)
540 {
541     Vector<AttributeChange> changes;
542
543     KURL baseURLAsKURL(baseURL.deprecatedString());
544
545     Node* end = node->traverseNextSibling();
546     for (Node* n = node; n != end; n = n->traverseNextNode()) {
547         if (n->isElementNode()) {
548             Element* e = static_cast<Element*>(n);
549             NamedAttrMap* attrs = e->attributes();
550             unsigned length = attrs->length();
551             for (unsigned i = 0; i < length; i++) {
552                 Attribute* attr = attrs->attributeItem(i);
553                 if (e->isURLAttribute(attr)) {
554                     String completedURL = KURL(baseURLAsKURL, attr->value().deprecatedString()).url();
555                     changes.append(AttributeChange(e, attr->name(), completedURL));
556                 }
557             }
558         }
559     }
560
561     size_t numChanges = changes.size();
562     for (size_t i = 0; i < numChanges; ++i)
563         changes[i].apply();
564 }
565
566 static bool needInterchangeNewlineAfter(const VisiblePosition& v)
567 {
568     VisiblePosition next = v.next();
569     Node* upstreamNode = next.deepEquivalent().upstream().node();
570     Node* downstreamNode = v.deepEquivalent().downstream().node();
571     // Add an interchange newline if a paragraph break is selected and a br won't already be added to the markup to represent it.
572     return isEndOfParagraph(v) && isStartOfParagraph(next) && !(upstreamNode->hasTagName(brTag) && upstreamNode == downstreamNode);
573 }
574
575 static PassRefPtr<CSSMutableStyleDeclaration> styleFromMatchedRulesAndInlineDecl(const Node* node)
576 {
577     if (!node->isHTMLElement())
578         return 0;
579     
580     // FIXME: Having to const_cast here is ugly, but it is quite a bit of work to untangle
581     // the non-const-ness of styleFromMatchedRulesForElement.
582     HTMLElement* element = const_cast<HTMLElement*>(static_cast<const HTMLElement*>(node));
583     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesForElement(element);
584     RefPtr<CSSMutableStyleDeclaration> inlineStyleDecl = element->getInlineStyleDecl();
585     style->merge(inlineStyleDecl.get());
586     return style.release();
587 }
588
589 static bool propertyMissingOrEqualToNone(CSSMutableStyleDeclaration* style, int propertyID)
590 {
591     if (!style)
592         return false;
593     RefPtr<CSSValue> value = style->getPropertyCSSValue(propertyID);
594     if (!value)
595         return true;
596     if (!value->isPrimitiveValue())
597         return false;
598     return static_cast<CSSPrimitiveValue*>(value.get())->getIdent() == CSS_VAL_NONE;
599 }
600
601 static bool elementHasTextDecorationProperty(const Node* node)
602 {
603     RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(node);
604     if (!style)
605         return false;
606     return !propertyMissingOrEqualToNone(style.get(), CSS_PROP_TEXT_DECORATION);
607 }
608
609 String joinMarkups(const Vector<String> preMarkups, const Vector<String>& postMarkups)
610 {
611     size_t length = 0;
612
613     size_t preCount = preMarkups.size();
614     for (size_t i = 0; i < preCount; ++i)
615         length += preMarkups[i].length();
616
617     size_t postCount = postMarkups.size();
618     for (size_t i = 0; i < postCount; ++i)
619         length += postMarkups[i].length();
620
621     Vector<UChar> result;
622     result.reserveCapacity(length);
623
624     for (size_t i = preCount; i > 0; --i)
625         appendString(result, preMarkups[i - 1]);
626
627     for (size_t i = 0; i < postCount; ++i)
628         appendString(result, postMarkups[i]);
629
630     return String::adopt(result);
631 }
632
633 // FIXME: Shouldn't we omit style info when annotate == DoNotAnnotateForInterchange? 
634 // FIXME: At least, annotation and style info should probably not be included in range.markupString()
635 String createMarkup(const Range* range, Vector<Node*>* nodes, EAnnotateForInterchange annotate, bool convertBlocksToInlines)
636 {
637     static const String interchangeNewlineString = String("<br class=\"") + AppleInterchangeNewline + "\">";
638
639     if (!range || range->isDetached())
640         return "";
641
642     Document* document = range->ownerDocument();
643     if (!document)
644         return "";
645
646     // Disable the delete button so it's elements are not serialized into the markup,
647     // but make sure neither endpoint is inside the delete user interface.
648     Frame* frame = document->frame();
649     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
650     RefPtr<Range> updatedRange = avoidIntersectionWithNode(range, deleteButton ? deleteButton->containerElement() : 0);
651     if (deleteButton)
652         deleteButton->disable();
653
654     ExceptionCode ec = 0;
655     bool collapsed = updatedRange->collapsed(ec);
656     ASSERT(ec == 0);
657     if (collapsed)
658         return "";
659     Node* commonAncestor = updatedRange->commonAncestorContainer(ec);
660     ASSERT(ec == 0);
661     if (!commonAncestor)
662         return "";
663
664     document->updateLayoutIgnorePendingStylesheets();
665
666     Vector<String> markups;
667     Vector<String> preMarkups;
668     Node* pastEnd = updatedRange->pastEndNode();
669     Node* lastClosed = 0;
670     Vector<Node*> ancestorsToClose;
671     
672     Node* startNode = updatedRange->startNode();
673     VisiblePosition visibleStart(updatedRange->startPosition(), VP_DEFAULT_AFFINITY);
674     VisiblePosition visibleEnd(updatedRange->endPosition(), VP_DEFAULT_AFFINITY);
675     if (annotate && needInterchangeNewlineAfter(visibleStart)) {
676         if (visibleStart == visibleEnd.previous()) {
677             if (deleteButton)
678                 deleteButton->enable();
679             return interchangeNewlineString;
680         }
681
682         markups.append(interchangeNewlineString);
683         startNode = visibleStart.next().deepEquivalent().node();
684     }
685
686     Node* next;
687     for (Node* n = startNode; n != pastEnd; n = next) {
688         next = n->traverseNextNode();
689         bool skipDescendants = false;
690         bool addMarkupForNode = true;
691         
692         if (!n->renderer() && !enclosingNodeWithTag(n, selectTag)) {
693             skipDescendants = true;
694             addMarkupForNode = false;
695             next = n->traverseNextSibling();
696             // Don't skip over pastEnd.
697             if (pastEnd && pastEnd->isDescendantOf(n))
698                 next = pastEnd;
699         }
700
701         if (isBlock(n) && canHaveChildrenForEditing(n) && next == pastEnd)
702             // Don't write out empty block containers that aren't fully selected.
703             continue;
704         
705         // Add the node to the markup.
706         if (addMarkupForNode) {
707             markups.append(getStartMarkup(n, updatedRange.get(), annotate));
708             if (nodes)
709                 nodes->append(n);
710         }
711         
712         if (n->firstChild() == 0 || skipDescendants) {
713             // Node has no children, or we are skipping it's descendants, add its close tag now.
714             if (addMarkupForNode) {
715                 markups.append(getEndMarkup(n));
716                 lastClosed = n;
717             }
718             
719             // Check if the node is the last leaf of a tree.
720             if (!n->nextSibling() || next == pastEnd) {
721                 if (!ancestorsToClose.isEmpty()) {
722                     // Close up the ancestors.
723                     do {
724                         Node *ancestor = ancestorsToClose.last();
725                         if (next != pastEnd && next->isDescendantOf(ancestor))
726                             break;
727                         // Not at the end of the range, close ancestors up to sibling of next node.
728                         markups.append(getEndMarkup(ancestor));
729                         lastClosed = ancestor;
730                         ancestorsToClose.removeLast();
731                     } while (!ancestorsToClose.isEmpty());
732                 }
733                 
734                 // Surround the currently accumulated markup with markup for ancestors we never opened as we leave the subtree(s) rooted at those ancestors.
735                 Node* nextParent = next ? next->parentNode() : 0;
736                 if (next != pastEnd && n != nextParent) {
737                     Node* lastAncestorClosedOrSelf = n->isDescendantOf(lastClosed) ? lastClosed : n;
738                     for (Node *parent = lastAncestorClosedOrSelf->parent(); parent != 0 && parent != nextParent; parent = parent->parentNode()) {
739                         // All ancestors that aren't in the ancestorsToClose list should either be a) unrendered:
740                         if (!parent->renderer())
741                             continue;
742                         // or b) ancestors that we never encountered during a pre-order traversal starting at startNode:
743                         ASSERT(startNode->isDescendantOf(parent));
744                         preMarkups.append(getStartMarkup(parent, updatedRange.get(), annotate));
745                         markups.append(getEndMarkup(parent));
746                         if (nodes)
747                             nodes->append(parent);
748                         lastClosed = parent;
749                     }
750                 }
751             }
752         } else if (addMarkupForNode && !skipDescendants)
753             // We added markup for this node, and we're descending into it.  Set it to close eventually.
754             ancestorsToClose.append(n);
755     }
756     
757     // Include ancestors that aren't completely inside the range but are required to retain 
758     // the structure and appearance of the copied markup.
759     Node* specialCommonAncestor = 0;
760     Node* commonAncestorBlock = commonAncestor ? enclosingBlock(commonAncestor) : 0;
761     if (annotate && commonAncestorBlock) {
762         if (commonAncestorBlock->hasTagName(tbodyTag) || commonAncestorBlock->hasTagName(trTag)) {
763             Node* table = commonAncestorBlock->parentNode();
764             while (table && !table->hasTagName(tableTag))
765                 table = table->parentNode();
766             if (table)
767                 specialCommonAncestor = table;
768         } else if (commonAncestorBlock->hasTagName(listingTag)
769                     || commonAncestorBlock->hasTagName(olTag)
770                     || commonAncestorBlock->hasTagName(preTag)
771                     || commonAncestorBlock->hasTagName(tableTag)
772                     || commonAncestorBlock->hasTagName(ulTag)
773                     || commonAncestorBlock->hasTagName(xmpTag))
774             specialCommonAncestor = commonAncestorBlock;
775     }
776     
777     Node* checkAncestor = specialCommonAncestor ? specialCommonAncestor : commonAncestor;
778     if (checkAncestor->renderer()) {
779         RefPtr<CSSMutableStyleDeclaration> checkAncestorStyle = computedStyle(checkAncestor)->copyInheritableProperties();
780         if (!propertyMissingOrEqualToNone(checkAncestorStyle.get(), CSS_PROP__WEBKIT_TEXT_DECORATIONS_IN_EFFECT))
781             specialCommonAncestor = elementHasTextDecorationProperty(checkAncestor) ? checkAncestor : enclosingNodeOfType(checkAncestor, &elementHasTextDecorationProperty);
782     }
783     
784     if (Node *enclosingAnchor = enclosingNodeWithTag(specialCommonAncestor ? specialCommonAncestor : commonAncestor, aTag))
785         specialCommonAncestor = enclosingAnchor;
786     
787     Node* body = enclosingNodeWithTag(commonAncestor, bodyTag);
788     // FIXME: Only include markup for a fully selected root (and ancestors of lastClosed up to that root) if
789     // there are styles/attributes on those nodes that need to be included to preserve the appearance of the copied markup.
790     // FIXME: Do this for all fully selected blocks, not just the body.
791     Node* fullySelectedRoot = body && *Selection::selectionFromContentsOfNode(body).toRange() == *updatedRange ? body : 0;
792     if (annotate && fullySelectedRoot)
793         specialCommonAncestor = fullySelectedRoot;
794         
795     if (specialCommonAncestor) {
796         // Also include all of the ancestors of lastClosed up to this special ancestor.
797         for (Node* ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
798             if (ancestor == fullySelectedRoot && !convertBlocksToInlines) {
799                 RefPtr<CSSMutableStyleDeclaration> style = styleFromMatchedRulesAndInlineDecl(fullySelectedRoot);
800                 
801                 // Bring the background attribute over, but not as an attribute because a background attribute on a div
802                 // appears to have no effect.
803                 if (!style->getPropertyCSSValue(CSS_PROP_BACKGROUND_IMAGE) && static_cast<Element*>(fullySelectedRoot)->hasAttribute(backgroundAttr))
804                     style->setProperty(CSS_PROP_BACKGROUND_IMAGE, "url('" + static_cast<Element*>(fullySelectedRoot)->getAttribute(backgroundAttr) + "')");
805                 
806                 if (style->length()) {
807                     Vector<UChar> openTag;
808                     static const String divStyle("<div style=\"");
809                     appendString(openTag, divStyle);
810                     appendAttributeValue(openTag, style->cssText());
811                     openTag.append('\"');
812                     openTag.append('>');
813                     preMarkups.append(String::adopt(openTag));
814
815                     static const String divCloseTag("</div>");
816                     markups.append(divCloseTag);
817                 }
818             } else {
819                 preMarkups.append(getStartMarkup(ancestor, updatedRange.get(), annotate, convertBlocksToInlines));
820                 markups.append(getEndMarkup(ancestor));
821             }
822             if (nodes)
823                 nodes->append(ancestor);
824             
825             lastClosed = ancestor;
826             
827             if (ancestor == specialCommonAncestor)
828                 break;
829         }
830     }
831     
832     // Add a wrapper span with the styles that all of the nodes in the markup inherit.
833     Node* parentOfLastClosed = lastClosed ? lastClosed->parentNode() : 0;
834     if (parentOfLastClosed && parentOfLastClosed->renderer()) {
835         RefPtr<CSSMutableStyleDeclaration> style = computedStyle(parentOfLastClosed)->copyInheritableProperties();
836
837         // Styles that Mail blockquotes contribute should only be placed on the Mail blockquote, to help
838         // us differentiate those styles from ones that the user has applied.  This helps us
839         // get the color of content pasted into blockquotes right.
840         removeEnclosingMailBlockquoteStyle(style.get(), parentOfLastClosed);
841         
842         // Since we are converting blocks to inlines, remove any inherited block properties that are in the style.
843         // This cuts out meaningless properties and prevents properties from magically affecting blocks later
844         // if the style is cloned for a new block element during a future editing operation.
845         if (convertBlocksToInlines)
846             style->removeBlockProperties();
847
848         if (style->length() > 0) {
849             Vector<UChar> openTag;
850             const String spanClassStyle = String("<span class=\"" AppleStyleSpanClass "\" style=\"");
851             appendString(openTag, spanClassStyle);
852             appendAttributeValue(openTag, style->cssText());
853             openTag.append('\"');
854             openTag.append('>');
855             preMarkups.append(String::adopt(openTag));
856             
857             static const String spanCloseTag("</span>");
858             markups.append(spanCloseTag);
859         }
860     }
861
862     // FIXME: The interchange newline should be placed in the block that it's in, not after all of the content, unconditionally.
863     if (annotate && needInterchangeNewlineAfter(visibleEnd.previous()))
864         markups.append(interchangeNewlineString);
865
866     bool selectedOneOrMoreParagraphs = startOfParagraph(visibleStart) != startOfParagraph(visibleEnd) ||
867                                        isStartOfParagraph(visibleStart) && isEndOfParagraph(visibleEnd);
868                                       
869     // Retain the Mail quote level by including all ancestor mail block quotes.
870     if (lastClosed && annotate && selectedOneOrMoreParagraphs) {
871         for (Node *ancestor = lastClosed->parentNode(); ancestor; ancestor = ancestor->parentNode()) {
872             if (isMailBlockquote(ancestor)) {
873                 preMarkups.append(getStartMarkup(ancestor, updatedRange.get(), annotate));
874                 markups.append(getEndMarkup(ancestor));
875             }
876         }
877     }
878
879     if (deleteButton)
880         deleteButton->enable();
881
882     return joinMarkups(preMarkups, markups);
883 }
884
885 PassRefPtr<DocumentFragment> createFragmentFromMarkup(Document* document, const String& markup, const String& baseURL)
886 {
887     ASSERT(document->documentElement()->isHTMLElement());
888     // FIXME: What if the document element is not an HTML element?
889     HTMLElement *element = static_cast<HTMLElement*>(document->documentElement());
890
891     RefPtr<DocumentFragment> fragment = element->createContextualFragment(markup);
892
893     if (fragment && !baseURL.isEmpty() && baseURL != document->baseURL())
894         completeURLs(fragment.get(), baseURL);
895
896     return fragment.release();
897 }
898
899 String createMarkup(const Node* node, EChildrenOnly includeChildren, Vector<Node*>* nodes)
900 {
901     Vector<UChar> result;
902
903     if (!node)
904         return "";
905
906     Document* document = node->document();
907     Frame* frame = document->frame();
908     DeleteButtonController* deleteButton = frame ? frame->editor()->deleteButtonController() : 0;
909
910     // disable the delete button so it's elements are not serialized into the markup
911     if (deleteButton) {
912         if (node->isDescendantOf(deleteButton->containerElement()))
913             return "";
914         deleteButton->disable();
915     }
916
917     appendMarkup(result, const_cast<Node*>(node), includeChildren, nodes);
918
919     if (deleteButton)
920         deleteButton->enable();
921
922     return String::adopt(result);
923 }
924
925 static void fillContainerFromString(ContainerNode* paragraph, const DeprecatedString& string)
926 {
927     Document* document = paragraph->document();
928
929     ExceptionCode ec = 0;
930     if (string.isEmpty()) {
931         paragraph->appendChild(createBlockPlaceholderElement(document), ec);
932         ASSERT(ec == 0);
933         return;
934     }
935
936     ASSERT(string.find('\n') == -1);
937
938     DeprecatedStringList tabList = DeprecatedStringList::split('\t', string, true);
939     DeprecatedString tabText = "";
940     bool first = true;
941     while (!tabList.isEmpty()) {
942         DeprecatedString s = tabList.first();
943         tabList.pop_front();
944
945         // append the non-tab textual part
946         if (!s.isEmpty()) {
947             if (!tabText.isEmpty()) {
948                 paragraph->appendChild(createTabSpanElement(document, tabText), ec);
949                 ASSERT(ec == 0);
950                 tabText = "";
951             }
952             RefPtr<Node> textNode = document->createTextNode(stringWithRebalancedWhitespace(s, first, tabList.isEmpty()));
953             paragraph->appendChild(textNode.release(), ec);
954             ASSERT(ec == 0);
955         }
956
957         // there is a tab after every entry, except the last entry
958         // (if the last character is a tab, the list gets an extra empty entry)
959         if (!tabList.isEmpty())
960             tabText += '\t';
961         else if (!tabText.isEmpty()) {
962             paragraph->appendChild(createTabSpanElement(document, tabText), ec);
963             ASSERT(ec == 0);
964         }
965         
966         first = false;
967     }
968 }
969
970 PassRefPtr<DocumentFragment> createFragmentFromText(Range* context, const String& text)
971 {
972     if (!context)
973         return 0;
974
975     Node* styleNode = context->startNode();
976     if (!styleNode) {
977         styleNode = context->startPosition().node();
978         if (!styleNode)
979             return 0;
980     }
981
982     Document* document = styleNode->document();
983     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
984     
985     if (text.isEmpty())
986         return fragment.release();
987
988     DeprecatedString string = text.deprecatedString();
989     string.replace("\r\n", "\n");
990     string.replace('\r', '\n');
991
992     ExceptionCode ec = 0;
993     RenderObject* renderer = styleNode->renderer();
994     if (renderer && renderer->style()->preserveNewline()) {
995         fragment->appendChild(document->createTextNode(string), ec);
996         ASSERT(ec == 0);
997         if (string.endsWith("\n")) {
998             RefPtr<Element> element;
999             element = document->createElementNS(xhtmlNamespaceURI, "br", ec);
1000             ASSERT(ec == 0);
1001             element->setAttribute(classAttr, AppleInterchangeNewline);            
1002             fragment->appendChild(element.release(), ec);
1003             ASSERT(ec == 0);
1004         }
1005         return fragment.release();
1006     }
1007
1008     // A string with no newlines gets added inline, rather than being put into a paragraph.
1009     if (string.find('\n') == -1) {
1010         fillContainerFromString(fragment.get(), string);
1011         return fragment.release();
1012     }
1013
1014     // Break string into paragraphs. Extra line breaks turn into empty paragraphs.
1015     Node* block = enclosingBlock(context->startNode());
1016     bool useClonesOfEnclosingBlock = !block->hasTagName(bodyTag);
1017     
1018     DeprecatedStringList list = DeprecatedStringList::split('\n', string, true); // true gets us empty strings in the list
1019     while (!list.isEmpty()) {
1020         DeprecatedString s = list.first();
1021         list.pop_front();
1022
1023         RefPtr<Element> element;
1024         if (s.isEmpty() && list.isEmpty()) {
1025             // For last line, use the "magic BR" rather than a P.
1026             element = document->createElementNS(xhtmlNamespaceURI, "br", ec);
1027             ASSERT(ec == 0);
1028             element->setAttribute(classAttr, AppleInterchangeNewline);            
1029         } else {
1030             element = useClonesOfEnclosingBlock ? static_cast<Element*>(block->cloneNode(false).get()) : createDefaultParagraphElement(document);
1031             fillContainerFromString(element.get(), s);
1032         }
1033         fragment->appendChild(element.release(), ec);
1034         ASSERT(ec == 0);
1035     }
1036     return fragment.release();
1037 }
1038
1039 PassRefPtr<DocumentFragment> createFragmentFromNodes(Document *document, const Vector<Node*>& nodes)
1040 {
1041     if (!document)
1042         return 0;
1043
1044     // disable the delete button so it's elements are not serialized into the markup
1045     if (document->frame())
1046         document->frame()->editor()->deleteButtonController()->disable();
1047
1048     RefPtr<DocumentFragment> fragment = document->createDocumentFragment();
1049
1050     ExceptionCode ec = 0;
1051     size_t size = nodes.size();
1052     for (size_t i = 0; i < size; ++i) {
1053         RefPtr<Element> element = createDefaultParagraphElement(document);
1054         element->appendChild(nodes[i], ec);
1055         ASSERT(ec == 0);
1056         fragment->appendChild(element.release(), ec);
1057         ASSERT(ec == 0);
1058     }
1059
1060     if (document->frame())
1061         document->frame()->editor()->deleteButtonController()->enable();
1062
1063     return fragment.release();
1064 }
1065
1066 }